NVIDIA 利用矽光子學和 3D GPU/DRAM 堆疊技術揭示 AI 運算的未來

NVIDIA 在 IEDM 2024 會議上公佈了下一代 AI 加速器的願景，強調了革命性的矽光子 (SiPh) 策略。這種創新方法旨在滿足人工智慧運算日益增長的需求。

NVIDIA 的高級 AI 加速器創新策略

隨著業界努力應對不斷升級的人工智慧運算需求，傳統封裝技術已經達到極限，需要新的視角。矽光子學有望成為傳統技術的替代品。在最近的 IEDM 2024 會議上，以 Ian Cutress 為代表的 NVIDIA 分享了一種獨特的方法，該方法結合了 SiPh 中介層和垂直堆疊 GPU 區塊，從而增強了高效能運算產品的能力。

這是@NVIDIA對人工智慧運算未來的願景。

矽光子中介層SiPh 晶片內和晶片間12 個SiPh 連接，每個GPU 區塊3 個每個層4 個GPU 區塊GPU「層」（GPU on GPU？！？）3D 堆疊DRAM，每個區塊6 個，細粒度

來自#iedm24。我的猜測，2028/2029/2030… pic.twitter.com/5IsDkYSWT2

— 𝐷𝑟。 𝐼𝑎𝑛𝐶𝑢𝑡𝑟𝑒𝑠𝑠（@IanCutress）2024年12月8日

NVIDIA 矽光子方法的主要特點

NVIDIA 整合式矽光子中介層旨在取代標準電氣互連，開創具有多項優勢的運算新時代。與現有方法相比，SiPh 技術的使用預計將提供更高的頻寬、減少延遲並提高能源效率。值得注意的是，NVIDIA 計劃為晶片內和晶片間通訊部署 12 個 SiPh 連接，優化 GPU 區塊之間的資料傳輸，這對於實現顯著的可擴展性和卓越的效能至關重要。

3D 堆疊可增強效能

NVIDIA 方法最引人注目的方面之一是它使用“3D 堆疊”，其中涉及垂直堆疊多個 GPU 區塊。該技術增加了晶片密度，同時最大限度地減少了物理佔用空間。每層被稱為“GPU 層”，包含四個以垂直配置排列的 GPU 區塊，旨在減少互連延遲並啟用潛在的功率閘控技術。此外，NVIDIA 打算整合 3D 堆疊 DRAM 晶片，每塊 6 個，從而提高整體效率。