AMD 搭載のフロンティアスーパーコンピューターは、37,000 個の MI250X GPU のうち 3,000 個を使用して、ChatGPT-4 に匹敵する 1 兆パラメータの LLM 実行を達成します

Instinct MI250X GPU を搭載した AMD 搭載の Frontier スーパーコンピューターは、ChatGPT-4 に匹敵する 1 兆パラメーター LLM の実行を達成しました。

AMD の EPYC CPU と CPU のおかげで、フロンティアスーパーコンピューターが LLM トレーニングの分野で新記録を樹立Instinct GPU

Frontier スーパーコンピューターは世界をリードするスーパーコンピューターであり、現在稼働している唯一のエクサスケールマシンです。このマシンは AMD の EPYC および AMD を搭載しています。 Instinct ハードウェアは、最高の HPC パフォーマンスを提供するだけでなく、地球上で 2 番目に効率的なスーパーコンピュータでもあります。 a> への投稿レポートにより、Frontier スーパーコンピューターが「ハイパーパラメーターチューニング」を通じて 1 兆個のパラメーターをトレーニングできる能力に達し、新たな産業を確立したことが明らかになりました。ベンチマーク。Arxiv。個人による

核心に入る前に、Frontier スーパーコンピューターが何を保持しているのかを簡単にまとめてみましょう。 ORNL によるスーパーコンピューターは、AMD の第 3 世代 EPYC Trento CPU と Instinct MI250X GPU アクセラレータを使用してゼロから設計されました。この装置は米国テネシー州のオークリッジ国立研究所 (ORNL) に設置されており、エネルギー省 (DOE) によって運営されています。現在、8,699,904 コアを使用して 1.194 Exaflop/s を達成しています。 HPE Cray EX アーキテクチャは、HPC および AI 向けに最適化された第 3 世代 AMD EPYC CPU と、AMD Instinct 250X アクセラレータおよび Slingshot-11 インターコネクトを組み合わせています。 Frontier は、Top500.org のスーパーコンピューターリストで第 1 位の座を維持し、その優位性を示しています。

Frontier が達成した新記録は、LLM をトレーニングし、オンボードハードウェアを最も効率的に使用するための効果的な戦略を導入した結果です。チームは、220 億、1,750 億、1 兆のパラメーターの広範なテストを通じて注目すべき結果を達成することができました。得られた数値は、モデルトレーニングプロセスの最適化と微調整の結果です。この結果は、最大 3,000 個の AMD の MI250X AI アクセラレータを採用することによって達成されました。これらのアクセラレータは、比較的古いハードウェアであるにもかかわらず、その優れた性能を示しています。

さらに興味深いのは、Frontier スーパーコンピューター全体に 37,000 個の MI250X GPU が搭載されているため、GPU プール全体を使用して LLM に電力を供給したときにどのようなパフォーマンスが得られるかを想像できることです。 AMD はまた、堅牢な ROCm 6.0 エコシステムを備えた最新のスーパーコンピューターに、MI300 GPU アクセラレータを実装しようとしています。 AI のパフォーマンスをさらに加速します。

220 億、1,750 億、1 兆のパラメーターでは、それぞれ 38.38%、36.14%、31.96% の GPU スループットを達成しました。 1,750 億パラメータモデルと 1 兆パラメータモデルのトレーニングでは、それぞれ 1,024 個と 3,072 個の MI250X GPU で 100% の弱いスケーリング効率を達成しました。これら 2 つのモデルでは、89% と 87% という高いスケーリング効率も達成しました。

– アーヴィックス

ニュースソース: アービックス