下一代 HBM 架構全面概述：HBM4 至 HBM8，頻寬高達 64 TB/s，每 24 層堆疊容量達 240 GB，並配備嵌入式冷卻功能

高頻寬記憶體 (HBM) 標準的發展從 HBM4 到 HBM8 取得了顯著進步，推動了滿足日益增長的人工智慧 (AI) 和資料中心效能需求所需的創新。

擴展 HBM 標準旨在滿足 AI 和資料中心的需求

韓國科學技術院 (KAIST)和Tera（太字節互連與封裝實驗室）最近在一次示範中揭露了 HBM 技術的宏偉發展路線圖。隨著 HBM4、HBM5、HBM6、HBM7 和 HBM8 等技術的出現，HBM 技術將迎來實質的改進，預計將頻寬提升至 64 TB/s。

從 HBM4 開始，該標準準備支援即將於 2026 年推出的 AI GPU 計畫和資料中心技術。 AMD 和 NVIDIA 等知名公司確認將 HBM 整合到 MI400 和 Rubin 系列等產品中，這表明了其重要性。

NVIDIA 即將發布的 GPU 路線圖（由相關研究公司詳細介紹）提供了至關重要的見解，尤其考慮到 Tera 在互連和 HBM 封裝方面的專業知識。 HBM4 記憶體專為 NVIDIA Rubin 和 AMD MI500 GPU 而設計。

NVIDIA Rubin 系列將採用 HBM4 和 HBM4e 技術，其中 Rubin 配備 8 個 HBM4 記憶體位點，而 Rubin Ultra 則配備 16 個記憶體位點。每個版本都展示了不同的晶片橫截面積，其中 Ultra 的計算密度是前者的兩倍。

根據分析，Rubin GPU 的晶片面積為 728 平方毫米，功耗約 800 瓦。其中介層面積為 2194 平方毫米，支援 288 至 384 GB 的記憶體容量，提供高達 16 至 32 TB/s 的頻寬，總功耗約為 2200 瓦，幾乎是上一代 Blackwell B200 GPU 的兩倍。

AMD 也透過其 Instinct MI400 提高了標準，配備了 432 GB 的 HBM4，頻寬能力達到 19.6 TB/s，這比 NVIDIA 的產品有了顯著的飛躍。

就HBM4的規格而言，該技術將提供8 Gbps的資料速率、2048位元IO、每堆疊2.0 TB/s的頻寬，以及48 GB的最大記憶體容量。它採用每堆疊75W的電源封裝，並利用液體冷卻以實現最佳性能。

未來，HBM5 計劃於 2029 年左右發布，預計將保持 8 Gbps 的數據速率，同時將 IO 通道擴展到 4096 個。總頻寬估計為 4 TB/s，該標準將利用 16-Hi 堆疊提供高達 80 GB 的容量。

NVIDIA 的 Feynman 預計將成為第一款使用 HBM5 的 GPU，官方發布目標價為 2029 年，以便進行充分的生產設定。

據報道，Feynman GPU 將採用 750 mm² 的晶片，功耗為 900W，預計將封裝四個 GPU，配備 400 至 500 GB 的 HBM5 內存，總熱設計功率 (TDP) 達到 4400W。

繼 HBM5 之後，下一個飛躍是 HBM6，預計將在 Feynman 架構之後推出。該版本預計將實現 16 Gbps 資料速率的顯著升級，並配備 4096 位元 IO 通道，從而顯著提升頻寬和記憶體容量。

借助 HBM6，我們預計頻寬和功率效率都會提高，為高達 6014 平方毫米的潛在 GPU 封裝鋪平道路，提供非凡的記憶體頻寬和容量能力。

展望未來，HBM7 和 HBM8 預計將重新定義記憶體技術。 HBM7 的資料速率可達 24 Gbps，IO 數量高達 8192，頻寬能力將大幅提升至 24 TB/s。

最後，HBM8 將超越我們目前的理解，預計將實現 32 Gbps 的數據速率和增強的容量，預計將於 2038 年左右發布。展望未來，HBM7 和 HBM8 標準將開啟一個前所未有的運算能力時代。

高頻寬快閃記憶體 (HBF) 架構等改進旨在優化記憶體密集型應用，例如大型語言模型生成。這項創新採用先進的 NAND 配置和互連策略，可與 HBM 堆疊無縫集成，從而提升效能。

隨著我們步入資料密集型應用時代，創新架構與專業散熱解決方案的緊密結合將為下一代運算提供所需的支撐。 HBM 的未來前景光明，有望取得實質進展，未來幾年將為記憶體技術的演進帶來令人興奮的展望。