91吃瓜网

以業界第一套超乙太网路和 UALink IP 解决方案賦能大量的AI叢集

任何一個單獨的 GPU、XPU 或其他 AI 加速器已無法滿足 AI 工作負載的運算需求。這些數以萬計甚至不久將面臨數以十萬計的加速器,必須合作共同分擔處理運算時的負載。

以 Llama3 為例,光是預先訓練就需要超過 。且與其他 AI 模型一樣,Llama要處理的參數預計每4到6個月就會加倍。

這種大規模的平行運算及運算量的持續增加,對將AI 叢集串連起來的網路結構帶來巨大壓力,特別是將數據傳輸至叢集中所有加速器之間的互連技術。

超乙太网路(Ultra Ethernet)和超級加速器鏈(Ultra Accelerator Link; UALink)等新興標準,針對更高頻寬、更低延遲互連的更大型 AI 叢集的需求提供一個解方。我們最近宣布,這些技術將使大規模 AI 叢集能夠實現橫向與縱向的擴展。


HPC 晶片设计師為何專注於線性可插拔光學元件

此白皮书探討在 PCIe 和線性可插拔光纖乙太网路環境下時序重置的技術複雜性


橫向與縱向擴展 AI 基礎架構

為支援現代工作負載日益增加的運算需求,AI 叢集必須同時進行橫向擴展(透過網路結構)與縱向擴展(機架內)。

Ultra Ethernet 針對前者提供高效能且不須綁定供應商的連結,可用於連接大型 AI 網路中多達百萬個端點。而 UALink 則針對後者,提供高速、低延遲的連結,用於連接一千多個 AI 加速器。

這些開放式的業界標準協議實現無需鎖定特定供應商即可擴展運算處理效能與規模,為建設和現代化超大規模数据中心與高效能运算(贬笔颁)環境的公司提供了靈活性與投資保護。

身為 Ultra Ethernet Consortium ( 和 UALink Consortium () 的成員,我們正幫助塑造並推動這些新興標準,以促進下一代 AI 與 HPC 架構的發展。

業界首款 Ultra Ethernet 與 UALink IP 解决方案

新思科技针对高频宽、低延迟互连的需求推出Ultra Ethernet IPUALink IP 解决方案,提供擴展今日與未來 AI 與 HPC 架構所需的介面。

基於通過矽認證(silicon-proven)的技術,新思科技 Ultra Ethernet IP 解决方案 能提供高達 1.6 Tbps 的頻寬與超低延遲,用於橫向擴展(scale out)大規模 AI 網路。而 UALink IP 解决方案則可提供每通道高達 200 Gbps 的傳輸速率與记忆体共享功能,用於縱向擴展(scale up)加速器的連接性。

新思科技領先業界且具頂尖水準的 Ethernet 和 PCIe IP 技術已協助客戶完成超過 5,000 件成功投片(tapeouts)案例;基於這些技術,這兩種解决方案都可降低風險,並加速開發下一代具備 Ultra Ethernet 和 UALink 互連的半導體、系統單晶片(SoCs)及 AI 加速器的上市時程。

做為AI 與高效能运算(贬笔颁)设计創新的領頭羊,新思科技提供業界最廣泛的高速介面 IP 組合。憑藉完整且安全的 IP 解决方案,包括 PCIe 7.0、1.6T Ethernet、CXL、HBM、UCIe,以及如今的 Ultra Ethernet 和 UALink,我們正在實現 AI 與 HPC 在效能、可擴展性、效率及互通性上的全新境界。