DSO.ai
由人工智慧驱动的设计应用
瞭解更多 →
創鑫智慧與新思科技合作 成功推出開創性的AI加速器
本文原文由张贴
英文原文：
運用AI人工智慧驅動的推薦系統正為創造嶄新客戶體驗開闢新途徑。借助這項技術，網路商店可以利用凸顯商品選項讓用戶任意添加到購物車，數位音樂服务可根據已設定輪播的曲目推薦歌曲，社交媒體則可以提供可能符合用戶興趣的內容。當這些系統自然流暢地運作並提供準確的建議時，它們還可以為公司帶來更多利潤收益。然而，為能產生精準的建議，需要大量具有挑戰性的工程工作在幕後運作。
AI人工智慧加速器是推薦系統技術堆疊(technology stack)的關鍵部分，它的速度和能源效率(以每焦耳能量的推論來衡量)是能準確預測的關鍵要素。2019 年，Meta(當時的 Facebook)呼籲業界基於其開源深度學習推薦模型()來開發用於推薦系統(recommendation system)的硬體加速器。當時的號召行動激發 Neuchips Inc. 的工程團隊，在以開放運算計畫(Open Compute Project; OCP) 的架構中擴大推薦系統的效能。並且為了滿足 Meta 的要求，這家新創公司於今年(2022)夏天宣布，已經成功在台灣完成第一款 DLRM 加速器 – 的设计並投片試產(tape out)。
Neuchips RecAccel?-N3000專為資料中心推薦模型而设计，每焦耳可實現100萬個DLRM推理，相當於每20瓦晶片每秒進行2,000萬次推理。這個AI加速器的開發運用新思科技提供的EDA工具及來自其他半導體領導者的支援，未來將採用台積公司7奈米製程技術生產，樣品可望於 2022年底準備就緒。
在这篇部落格中，我们将娓娓道来创鑫智慧这个由30名工程师组成的团队，如何在短短18个月内完成400尘尘2 础滨晶片的投片；这个过程以往需仰赖超过100名工程师，耗费3至4年才能达成。
应用於数据资料中心的顿颈谤别肠迟-迟辞-础厂滨颁工程方法
就雲端资源的使用而言，AI推薦系統，特別是DLRM，在機器學習應用中扮演著主導的地位。採用新穎的DLRM能產生更有用的預測，但同時需要在固定的能源和空間限制下具備更多的運算能力。創鑫智慧開創direct-to-ASIC獨特的工程方法，透過專門建構的特定領域的AI加速器以及共同设计的編譯器和運行時期軟體來加速系統軟體開發。在創鑫智慧的非同步與異質的數據資料流程架構中，每種類型的IP和處理器都是為能優化DLRM 邏輯架構元件而精心定製。而可配置的新思科技ARC? 處理器，具有低功耗和高性能特性，在 RecAccel?-N3000 的突破性效能中扮演著不可或缺的角色。
搁别肠础肠肠别濒?-狈3000的其他功能包括：
- 160MB晶粒內建(on-die) SRAM
- 具備inline錯誤修正碼(error correction code, ECC)的4x64 LPDDR5
- 高達 128GB的卡式DRAM
- 多達 16 個 PCI Express? (PCIe?) 3.0、4.0 和 5.0通道
- 嵌入式安全硬体信任根(谤辞辞迟-辞蹿-迟谤耻蝉迟)模组
為能率先進入市場，創鑫智慧尋求能幫助其加快其设计週期的相關技術支援、设计和验证工具以及IP。透過由新思科技與台灣工業技術研究院(Industrial Technology Research Institute, ITRI)共同成立的，創鑫智慧找到所需的资源。創鑫智慧的團隊已有許多人熟悉新思科技的技術，因此當下就決定與新思科技合作進行這項不凡的計畫。
AI晶片设计實驗室位於臺灣新竹工研院總部，獲得來自台灣新思科技與經濟部技術處全球研發夥伴專案計畫的支持；實驗室旨在提供最新的设计工具以及设计與验证服务，協助台灣半導體在AI产业应用發展。AI 晶片设计實驗室提供的主要产物之"一是以ARC AI參考设计平台為基礎的新思科技系統級(system-level)解决方案，涵蓋架構设计、虛擬原型设计建造和系統验证等。此设计平台旨在協助降低AI的進入門檻並縮短设计週期。
缩短晶片开发时程达一年以上
基於DLRM其獨特的特性，難以透過一般通用型AI加速器達成。創鑫智慧開發的RecAccel?-N3000具備客製的硬體IP，可加速嵌入表(embedding table)，矩陣乘法(matrix multiplication)和特徵交互作用(feature interaction)。創鑫智慧與新思科技合作，借助ARC AI 參考设计平台實現早期軟硬體共同開發，從而節省了一年以上的系統晶片開發時間。透過該设计平台，創鑫智慧團隊得以儘早開發和验证RecAccel?-N3000特定領域AI加速器的PCIe 5.0子系統及其LPDDR5子系統，並將其整合到整個晶片中。同時也採用新思科技雲端ZeBu? Server 4 仿真(emulation)系統，對子系統及完整 RecAccel?-N3000晶片進行验证。
RecAccel?-N3000 利用一系列新思科技IP 模塊，包括：
- 新思科技ARC HS48 處理器
- 新思科技ARC EV 72 處理器
- 新思科技介面滨笔，适用於础惭叠础(先进高效能匯流排、先进周边匯流排)、尝笔顿顿搁5及和笔颁滨别
- 新思科技记忆体編譯器 ，具备先进电源管理功能
- 新思科技硬体安全模组 ，具備信任根，可為數據資料中心的IT設備提供安全性，以確保啟動代碼安全性和進行設備身份验证
使用經矽晶验证的新思科技IP ，幫助創鑫智慧團隊降低整合風險並縮短设计週期。新思科技的應用工程師亦協助創鑫智慧團隊優化以雲端為基礎的晶片设计代碼、進行 IP配置 以及在以FPGA為基礎的 ZeBu Server 4 系統上進行模拟和验证，將完整的ASIC RTL模拟時程從兩週縮短到大約20分鐘。
參與RelAccel?-N3000開發的其他设计和验证工具還包括：新思科技 Design Compiler RTL合成解决方案、新思科技 VCS?功能验证解决方案、新思科技 SpyGlass?靜態和形式验证平台、新思科技痴别谤诲颈?自动除错系统，新思科技 Formality?等效性检查工具、新思科技笔谤颈尘别罢颈尘别?静态时序分析工具、新思科技笔谤颈尘别笔辞飞别谤 RTL签核功耗分析工具以及新思科技 IC Compiler? II 佈局繞線解决方案。
总结
隨著推薦系統在數位世界中變得越來越普遍，創鑫智慧RelAccel?-N300的誕生恰逢其時。透過加速資料中心的推薦系統推理，高效、節能與可擴展的 AI 平台可望協助各行各業在網路上實現客戶體驗的個人化。藉由與新思科技、工研院和其他台灣半導體生態系夥伴密切合作，創鑫智慧加速了上市時程，在提供有效AI解决方案的競爭市場中拔得頭籌。