數(shù)據(jù)中心重新布線能否使 AI 速度提高 6 倍?
在過去,網(wǎng)絡就是連接少量本地計算機。但時代已經變了。在 AI 主導的世界中,訣竅是協(xié)調數(shù)以萬計的服務器的活動來訓練大型語言模型,而不會延遲通信?,F(xiàn)在有一個經過優(yōu)化的架構來做到這一點。Cornelis Networks 表示,其 CN500 網(wǎng)絡結構最大限度地提高了 AI 性能,支持多達 500,000 臺計算機或處理器的部署(比現(xiàn)在高出一個數(shù)量級),并且不會增加延遲。
本文引用地址:http://www.ekcard.cn/article/202506/471580.htm這項新技術為網(wǎng)絡世界帶來了第三個主要產品,即以太網(wǎng)和 InfiniBand。它旨在使 AI 和高性能計算機(HPC 或超級計算機)能夠以更高的效率實現(xiàn)更快、更可預測的完成時間。對于 HPC,Cornelis 聲稱其技術的性能優(yōu)于 InfiniBand NDR(2022 年推出的版本),每秒傳遞的消息數(shù)量是 InfiniBand 的兩倍,延遲減少了 35%。對于 AI 應用程序,與基于以太網(wǎng)的協(xié)議相比,它的通信速度提高了 6 倍。
長期以來,以太網(wǎng)一直是局域網(wǎng) (LAN) 的代名詞。軟件補丁使其通信協(xié)議經得起時間的考驗。InfiniBand 的發(fā)明是一項改進,但它的設計目標仍然相同:連接少量本地設備?!爱斶@些技術被發(fā)明出來時,它們與并行計算無關,”總部位于賓夕法尼亞州的 Cornelis 的聯(lián)合創(chuàng)始人、總裁兼首席運營官 Philip Murphy 說。
當數(shù)據(jù)中心開始涌現(xiàn)時,工程師需要一種新的網(wǎng)絡解決方案。由于不同的系統(tǒng)使用不同的軟件,因此無法共享資源,因此擴展以太網(wǎng)和 InfiniBand 等設備以適應最繁忙的運營時段被證明是具有挑戰(zhàn)性的?!斑@激發(fā)了整個云的發(fā)展,”Murphy 說。在不同的計算機甚至不同的組織之間共享基于云的 CPU 成為當今的解決方案。
但是,當數(shù)據(jù)中心先驅試圖最大限度地增加在一臺服務器上運行的應用程序數(shù)量時,Murphy 和他的同事們看到了相反方法的價值:最大限度地增加在一個應用程序上運行的處理器數(shù)量?!斑@需要一種完全不同的網(wǎng)絡解決方案,”他說,而這正是 Cornelis 現(xiàn)在提供的。該公司的 Omni-Path 架構由 Intel 開發(fā),用于超級計算應用,例如模擬氣候模型或藥物設計的分子相互作用,可提供最大的吞吐量和零數(shù)據(jù)包丟失。
無擁堵數(shù)據(jù)高速公路
協(xié)調處理器以訓練 AI 模型需要以非常高的帶寬交換許多消息(數(shù)據(jù)包)。每毫秒的消息速率很重要,延遲也很重要,即收件人需要多長時間才能響應。
在整個網(wǎng)絡中共享如此多的數(shù)據(jù)包的一個主要挑戰(zhàn)是流量擁塞。Murphy 解釋說,您需要一種方法來可靠地繞過擁塞點路由數(shù)據(jù)包,而不會產生其他問題。例如,如果數(shù)據(jù)包通過不同的路由到達同一目的地,則它們可能會無序到達。
Cornelis 的動態(tài)自適應路由算法通過圍繞短期擁塞事件進行路由來緩解擁塞,而其擁塞控制架構則圍繞“熱門”目的地路由流量?!叭绻粋€體育場有我們都想去的活動,你不希望經過體育場的交通也被堵在那里,”Murphy 說。中央起搏技術實現(xiàn)了這種擁塞控制架構。交換機可以看到流量形成的位置,然后告訴發(fā)送者放慢速度,直到擁塞消散?!翱紤]在進入高速公路匝道時緩解交通,”Murphy 解釋說。
另一個挑戰(zhàn)是避免延遲。在傳統(tǒng)的以太網(wǎng)架構中,發(fā)送數(shù)據(jù)包需要在端點有足夠的內存?!叭绻野l(fā)送給您,但您的內存耗盡了,您必須回來告訴我,”Murphy 說。這是一個很長的循環(huán),需要不可擴展的大型緩沖區(qū)。相反,Cornelis 使用一種稱為基于信用的流控制的算法,該算法會提前分配內存?!澳悴恍枰嬖V我任何事情,我就會知道我還能寄多少錢,”Murphy 說。
最后,如果 GPU 或鏈路發(fā)生故障,系統(tǒng)可以避免陷入停頓。在傳統(tǒng)架構中,如果服務器宕機,應用程序也會宕機。修復它需要從最新的檢查點重新啟動,而該檢查點本身需要大量的計算能力來創(chuàng)建?!跋胂笠幌拢绻看卧谖臋n上點擊'保存'時,都必須等待 20 分鐘,”Murphy 說。相反,由于 Cornelis Networks 分布在多臺計算機上,因此它可以保持應用程序運行,盡管帶寬略低,直到可以替換故障鏈路,而無需檢查點。
高效的 AI
從物理上講,CN5000 產品是圍繞定制芯片構建的網(wǎng)卡。網(wǎng)卡插入每臺服務器,“就像將以太網(wǎng)卡插入家中的 PC 一樣,”Murphy 解釋說。架頂式交換機通過電纜連接到每臺服務器和其他交換機,而控制器級交換機則帶有 48 或 576 個端口,用于連接到機架式交換機?!懊颗_服務器都插入了卡,因此您可以構建數(shù)千個終端節(jié)點集群,”Murphy 說。
該公司的主要市場是希望升級到新集群以實現(xiàn) AI 或更快 HPC 模擬的組織。這是通過 Cornelis 合作的三家原始設備制造商之一完成的,這些制造商制造服務器和網(wǎng)絡交換機。OEM 從 Cornelis 購買實體卡,并在完成訂單之前將其插入服務器。
直到最近,訓練神經網(wǎng)絡模型還是一次性的。但現(xiàn)在,訓練數(shù)萬億個參數(shù)的 AI 模型意味著反復微調或更新。Cornelis 希望利用這一點?!叭绻悴徊捎?AI,你就會倒閉。如果你使用 AI 效率低下,你仍然會倒閉,“Murphy 說。“我們的客戶希望以盡可能最有效的方式采用 AI。”
評論