NVIDIA Blackwell 與 AMD MI325X：最新 MLPerf 推理基準測試結果顯示 B200 創下紀錄，而 Instinct 與 Hopper 競爭

NVIDIA 和 AMD 最近發表了 MLPerf Inference 的最新效能指標，展示了其先進的 GPU，包括 Blackwell B200 和 Instinct MI325X。

NVIDIA Blackwell B200 和 AMD Instinct MI325X：最新 MLPerf 推理基準測試結果

新發布的 MLPerf Inference v5.0 基準測試凸顯了重大進步，因為兩家 GPU 巨頭都展示了其最新的晶片性能指標。雖然原始 GPU 功能至關重要，但有效的軟體優化和對新興 AI 生態系統的全面支援也在這些結果中發揮關鍵作用。

NVIDIA Blackwell 實現前所未有的效能

創新的 GB200 NVL72 系統整合了 72 個 NVIDIA Blackwell GPU，作為單一、廣泛的 GPU 運行，與先前的 NVIDIA H200 NVL8 相比，在 Llama 3.1 405B 基準測試中實現了高出 30 倍的吞吐量。這項卓越成就源自於每個 GPU 效能提升三倍以上以及NVIDIA NVLink互連域大幅擴充。

儘管許多公司利用 MLPerf 基準來評估效能，但只有 NVIDIA 及其合作夥伴提交了與 Llama 3.1 405B 基準相關的結果。

生產推理部署經常面臨關鍵指標的延遲挑戰。第一個是第一個標記的時間（TTFT），表示使用者從大型語言模型收到回應需要多長時間。第二個是每個輸出代幣的時間（TPOT），它衡量代幣交付給用戶的速度。

新的 Llama 2 70B Interactive 基準測試顯示出顯著的改進，TPOT 減少了 5 倍，TTFT 減少了 4.4 倍，表明用戶體驗的反應速度明顯更快。在這項基準測試中，NVIDIA 的提交由配備八個 Blackwell GPU 的 NVIDIA DGX B200 系統驅動，其性能相對於八 GPU H200 配置提高了三倍，並在這項更具挑戰性的 Llama 2 70B 測試中確立了高標準。

Blackwell架構的整合能力加上其最佳化的軟體框架代表著推理效能的突破，使AI工廠能夠增強智能，提高吞吐量並加快Token交付速度。

透過 NVIDIA

綠色團隊 NVIDIA 再次以最新的 Blackwell GPU（尤其是 B200 系列）展示了其在性能方面的主導地位。配備 72 個 B200 晶片的 GB200 NVL72 機架處於領先地位，與上一代 H200 相比，其在 Llama 3.1 405B 基準測試中的性能吞吐量提高了 30 倍。此外，Llama 70B 基準測試結果證實，與八 GPU H200 配置相比，八 GPU B200 配置的效能提高了三倍。

此外，AMD 還推出了最新的 Instinct MI325X 256 GB 加速器，採用 x8 配置。儘管 AMD 的結果與 H200 系統相當，但增強的記憶體容量明顯有利於大型語言模型 (LLM)。然而，它們仍然落後於Blackwell B200。為了保持競爭力，AMD 需要在硬體和軟體產品上保持強勁發展勢頭，尤其是預計今年稍後推出的 Ultra 平台 B300。