由人工智慧驱动的设计应用
本文原文由张贴
英文原文:
疾如閃電的金融交易、自然語言處理、基因組定序…面對高負載運算工作,標準CPU已經無法滿足其需求。這些高效能运算(贬笔颁)應用需要功能更強大、得以處理大量工作負載的處理器,且在無需消耗太多能量的前提下,同時解決複雜問題。
高效能與低功耗,面對這兩個看似矛盾的重大目標,晶片设计人員該怎麼辦呢?
工程技術的獨創與巧思,再再證明了它解決棘手問題的能力。由於生產大型系統單晶片(SoC)或採用更小的製程節點以實現功耗、效能和面積 (PPA)優勢的策略過於不切實際且成本過高,工程師們设计出了全新技術來推動半導體的創新。Chiplets便是一種提升效能的方式,可以同時滿足功耗與外形尺寸目標,特別適合不需要超大晶片體積的公司。本文將討論Chiplets如何提供全新等級的抽象層級(level of abstraction),以滿足超大规模资料中心與其 HPC 工作負載的需求。
HPC可以解決各種從科學與學術研究到商業創新領域中的複雜運算問題。從COVID-19到氣候變遷、金融風險分析和产物開發,世界上有許多重大且具有挑戰性的問題需要解決。HPC系統快速準確的資料處理能力,配合人工智慧(AI)和機器學習(ML)演算法,可以透過分析、建模和模拟,將海量資料轉化為可行的見解。预估,贬笔颁市场将从2020年的378亿美元成长到2025年的494亿美元。
最初的 HPC 應用-超級運算(supercomputing)-需要運用數千個CPU來解決複雜問題。傳統的資料中心也會以CPU,或是混合使用 CPU、GPU和專用ASIC作為其基礎。舉例而言,Google就擁有自己的張量處理單元(TPU, Tensor Processing Unit),一種用於神經網路機器學習、可透過雲端存取以加快AI速度的專用ASIC晶片。今天,我們可以觀察到日益普及,並快速且大規模地擴展,為HPC工作負載管理上千兆位元組 (甚至更多)的資料。而主流HPC應用中常用的晶片類型,已經無法滿足超大规模资料中心的PPA需求。
如Cerebras的 Wafer-Scale Engine (WSE) 極大型晶片,為超大规模资料中心提供了一種選擇。但從良率的角度來看,生產採用先進節點的大型單裸晶(monolithic die)成本高昂又具有挑戰性。這就是Chiplets吸引人的原因之"一。事實上,超大规模资料中心正是驅動使用像Chiplets這類新架構以達到 PPA目標的需求。
颁丑颈辫濒别迟蝉是一种小型裸晶,将其整合进单一封装中,可以组成更大型的(multi-die design)。透過將大型设计劃分為多個Chiplets,设计人員可獲得产物模組化和靈活性等優勢。個別的裸晶—即使是在不同製程節點上開發—也能組裝到單一封裝中,以滿足不同的市場領域或需求。與大型單裸晶相比,Chiplets也更容易製造並達到更高的良率。
至於颁丑颈辫濒别迟蝉封装,有多种技术可支援更高的电晶体密度,包括、2.5D和3D技術。MCM是最早期的一種系統級封裝(SiP)技術,問世至今已數十年,其可在單一封裝中以打線封裝(wire bonding)方式連接至少兩個 IC。在2.5D设计中,GPU和高頻寬记忆体(HBM)並排組裝在單一封裝中的中介層(interposer)上。儘管邏輯晶片並未堆疊,在某些2.5D设计中,HBM仍是由3D堆疊记忆体組成,將3D概念帶入2.5D设计。而在3D封裝中,異質裸晶垂直堆疊並透過矽穿孔(TSV)相互連接,此架構讓極快速的记忆体存取頻寬得以實現。
HPC设计通常會使用各種封裝類型的Chiplets。MCM是小型、低功耗设计的理想選擇。2.5D设计適用於人工智慧(AI)工作負載,因為能緊密的連接HBM與GPU,且同時提供強大的運算能力和记忆体容量。3DIC具有垂直堆疊的CPU和快速的记忆体存取能力,對一般 HPC工作負載的理想之"選。
根据国际能源署(滨贰础)报告指出,全球需求。即使服务需求預估將會成長60%,只要硬體和資料中心基礎架構效率持續提高,此用電量在2022年以前都會幾乎持平。顯然,在晶片級功耗方面,任何幅度的降低都將大有助益,如果能擴展到多晶粒设计則更好。為此,HPC與資料中心應用接下來要開拓的領域,可能會是光學 IC。將光學IC整合到與矽晶相同的封裝中,可就降低功耗和提升頻寬層面帶來顯著優勢。雖然光學技術才剛開始被導入資料中心領域,以提供另一種擴大規模、降低功耗和維護成本的方法,但此技術在超級運算領域中已通過验证,可以有效連接數百甚至上千個 CPU 節點。
為确保颁丑颈辫濒别迟蝉能实现所需要的笔笔础目标,势必要审慎选择开发使用的底层技术。举例而言,支援高频宽、低延迟、能源效率和无误差效能的對於快速、可靠的資料傳輸來說至關重要。同樣關鍵的還有设计與验证流程,有助於提早發現問題、取得更高的結果品質(quality-of-result)並加速上市時程(time-to-market)。
新思科技憑藉領先業界的電子设计自動化(EDA)流程和IP解决方案,可以提供技術资源來加速Chiplets的開發,藉此滿足HPC嚴苛的PPA目標。舉例而言,AI 強化、雲端就緒(cloud-ready)的新思科技「融合设计平台」(Fusion Design Platform?)即具備大規模平行数位设计工具,以及合成(synthesis)、佈局繞線(place-and-route)和签核(signoff)引擎的整合。針對2.5D和3D设计,裸晶對裸晶(die-to-die)連接 IP可提供卓越的功耗、延遲和裸晶邊緣效率。針對 3D 设计,建立於新思科技Fusion Design Platform基礎上的3DIC Compiler,是業界首款適用於先進多晶粒系統(multi-die system)设计與整合的統一平台。3DIC Compiler可用以建構多晶粒设计架構,並針對熱(thermal)、功耗(power)和時序(timing)等參數進行分析,而新思科技Fusion Compiler可提供 RTL-to-GDSII 流程來構建 CPU。我們的设计产物組合也包含用於RTL分析、標準签核提取(golden signoff extraction)、靜態時序分析(static timing analysis)、模拟、測試,以及透過電腦輔助设计(technology computer-aided design, TCAD)對TSV進行前期分析等雲端就緒解决方案。在验证面,雲端就緒的新思科技验证連續平台(Verification Continuum?),可提供前期軟體上線(bring-up)、早期SoC錯誤偵測和更快速的系統验证。
大數據分析揭示了各種隱藏模式、相關性和見解,以幫助我們解決一些世界上最棘手的難題。傳統的運算架構已經不足以支援大量運算工作負載。然而,Chiplets為超大规模资料中心和其他HPC系統设计人員提供了另一種超越摩爾定律的方法來提升效能和功率,同時避免大型單裸晶的良率和成本問題。隨著HPC工作負載推動對Chiplets的需求,设计人員可以放心運用EDA和IP解决方案,幫助他們達成日益嚴苛的PPA目標和更快的上市時程(time-to-market)目標。