AMD 支援的 Frontier 超級電腦使用 3K 的 37K MI250X GPU 實現了高達 1 兆參數的 LLM 運行，可與 ChatGPT-4 相媲美

採用 AMD 技術並配備 Instinct MI250X GPU 的 Frontier 超級電腦已實現 1 兆參數 LLM 運行，可與 ChatGPT-4 相媲美。

Frontier 超級電腦在 LLM 訓練領域創造了新記錄，由 AMD EPYC CPU 和 AMD 提供本能 GPU

Frontier 超級計算機是世界領先的超級計算機，也是目前唯一正在運行的百億億次計算機。本機由 AMD 的 EPYC（霄龍）和 EPYC（霄龍）供電。 Instinct 硬體不僅提供頂級HPC 效能，而且還是地球上第二高效的超級電腦< a i=3> a>。個人在Arxiv上提交的報告顯示，Frontier超級電腦已達到透過「超參數調優」訓練萬億參數的能力，創下產業新紀錄基準。

在深入探討關鍵問題之前，讓我們先快速回顧一下 Frontier 超級電腦的功能。 ORNL 的超級電腦從頭開始設計，採用 AMD 第三代 EPYC Trento CPU 和 Instinct MI250X GPU 加速器。它安裝在美國田納西州橡樹嶺國家實驗室 (ORNL)，由能源部 (DOE) 營運。目前，它使用 8,699,904 個核心實現了 1.194 Exaflop/s。 HPE Cray EX 架構結合了針對 HPC 和 AI 最佳化的第三代 AMD EPYC CPU、AMD Instinct 250X 加速器和 Slingshot-11 互連。 Frontier能夠在Top500.org超級電腦排行榜上保持第一名，可見其統治力。

Frontier 取得的新記錄是實施有效策略來培訓法學碩士並最有效地使用機上硬體的結果。團隊透過220億、1750億、1兆個參數的廣泛測試，取得了顯著的成果，這些數據是對模型訓練過程進行最佳化和微調的結果。這項成果是透過使用多達 3,000 個 AMD MI250X AI 加速器來實現的，儘管它是一種相對過時的硬件，但仍顯示出其強大功能。

更有趣的是，整個 Frontier 超級電腦配備了 37,000 個 MI250X GPU，因此可以想像使用整個 GPU 池為 LLM 提供動力時的效能。 AMD 也即將在具有強大 ROCm 6.0 生態系統的全新超級電腦中實施其MI300 GPU 加速器進一步提升AI性能。

對於 220 億、1750 億和 1 兆參數，我們分別實現了 38.38%、36.14% 和 31.96% 的 GPU 吞吐量。對於1750億參數模型和1兆參數模型的訓練，我們分別在1024和3072 MI250X GPU上實現了100%的弱縮放效率。我們還為這兩個模型實現了 89% 和 87% 的強大擴展效率。

– 阿爾維克斯

新聞來源：Arvix