NVIDIA Blackwell vs AMD MI325X: 最新の MLPerf 推論ベンチマーク結果によると、B200 が記録を更新し、Instinct は Hopper と競合

NVIDIA と AMD は最近、MLPerf Inference の最新のパフォーマンスメトリックを公開し、Blackwell B200 や Instinct MI325X などの高度な GPU を紹介しています。

NVIDIA Blackwell B200 と AMD Instinct MI325X: 最新の MLPerf 推論ベンチマーク結果

新しくリリースされた MLPerf Inference v5.0 ベンチマークでは、2 つの GPU 大手が最新のチップパフォーマンスメトリックを発表し、大きな進歩が強調されています。生の GPU 機能も重要ですが、効果的なソフトウェア最適化と新興 AI エコシステムの包括的なサポートも、これらの結果において重要な役割を果たしています。

NVIDIA Blackwell が前例のないパフォーマンスを実現

72 個の NVIDIA Blackwell GPU を統合して単一の拡張 GPU として機能する革新的な GB200 NVL72 システムは、Llama 3.1 405B ベンチマークで、以前の NVIDIA H200 NVL8 エントリと比較して 30 倍という驚異的なスループットを達成しました。この驚くべき成果は、GPU あたりのパフォーマンスが 3 倍以上向上し、NVIDIA NVLink相互接続ドメインが大幅に拡張されたことによるものです。

多数の企業が MLPerf ベンチマークを活用してパフォーマンスを評価していますが、Llama 3.1 405B ベンチマークに関する結果を提出しているのは NVIDIA とそのパートナーだけです。

実稼働の推論デプロイメントでは、重要なメトリックに関するレイテンシーの課題に頻繁に直面します。1 つ目は最初のトークンまでの時間 (TTFT) で、ユーザーが大規模な言語モデルから応答を受け取るまでにかかる時間を示します。2 つ目は出力トークンあたりの時間 (TPOT) で、トークンがユーザーに配信される速度を測定します。

新しい Llama 2 70B Interactive ベンチマークでは、TPOT が 5 倍、TTFT が 4.4 倍減少するなど、大幅な改善が見られ、ユーザーエクスペリエンスの応答性が著しく向上しています。このベンチマークでは、8 つの Blackwell GPU を搭載した NVIDIA DGX B200 システムを搭載した NVIDIA の提出物は、8 GPU H200 構成に比べてパフォーマンスが 3 倍になり、より困難なこの Llama 2 70B テストで高い基準を確立しました。

Blackwell アーキテクチャの統合機能と最適化されたソフトウェアフレームワークを組み合わせることで、推論パフォーマンスが飛躍的に向上し、AI ファクトリーはインテリジェンスを強化し、スループットを向上し、トークン配信速度を加速できるようになります。

NVIDIA経由

グリーンチームの NVIDIA は、最新の Blackwell GPU、特に B200 シリーズで、パフォーマンスにおける優位性を再び実証しました。72 個の B200 チップを搭載した GB200 NVL72 ラックがトップに立ち、Llama 3.1 405B ベンチマークで前世代の H200 と比較して 30 倍も高いパフォーマンススループットを実現しました。さらに、Llama 70B ベンチマークの結果では、8 個の GPU を搭載した B200 構成では、8 個の GPU を搭載した H200 セットアップと比較してパフォーマンスが 3 倍になることが確認されました。

さらに、AMD は最新の Instinct MI325X 256 GB アクセラレータを x8 構成で発表しました。AMD の結果は H200 システムに匹敵しますが、メモリ容量の拡張により大規模言語モデル (LLM) が大幅に向上します。ただし、Blackwell B200 にはまだ遅れをとっています。競争力を維持するには、AMD はハードウェアとソフトウェアの両方で勢いを維持する必要があります。特に、今年後半に予定されている Ultra プラットフォーム B300 の登場が期待されています。