Der AMD-basierte Frontier-Supercomputer mit Instinct MI250X-GPUs hat einen LLM-Lauf mit 1 Billion Parametern erreicht und kann damit mit ChatGPT-4 konkurrieren.
Der Frontier-Supercomputer stellt neue Rekorde im Bereich der LLM-Ausbildung auf, dank der EPYC-CPUs und -Prozessoren von AMD. Instinkt-GPUs
Der Frontier-Supercomputer ist der weltweit führende Supercomputer und die einzige Exascale-Maschine, die derzeit in Betrieb ist. Diese Maschine wird von AMDs EPYC & Instinct-Hardware, die nicht nur diebeste HPC-Leistung bietet, sondern auch der zweiteffizienteste Supercomputer der Weltist. a> durch Einzelpersonen hat ergeben, dass der Frontier-Supercomputer die Fähigkeit erreicht hat, eine Billion Parameter durch „Hyperparameter-Tuning“ zu trainieren und damit eine neue Branche zu begründen Benchmark.Arxiv. Ein Einreichungsbericht zu
Bevor wir auf den Kern eingehen, werfen wir einen kurzen Rückblick darauf, was der Frontier-Supercomputer zu bieten hat. Der Supercomputer von ORNL wurde von Grund auf mit AMDs EPYC Trento-CPUs der 3. Generation und Instinct MI250X-GPU-Beschleunigern entwickelt. Es ist im Oak Ridge National Laboratory (ORNL) in Tennessee, USA, installiert und wird dort vom Department of Energy (DOE) betrieben. Derzeit wurden 1,194 Exaflop/s mit 8.699.904 Kernen erreicht. Die HPE Cray EX-Architektur kombiniert für HPC und KI optimierte AMD EPYC-CPUs der 3. Generation mit AMD Instinct 250X-Beschleunigern und einer Slingshot-11-Verbindung. Frontier konnte den ersten Platz auf der Top500.org-Liste der Supercomputer behaupten und zeigt damit seine Dominanz.
Die von Frontier erzielten neuen Rekorde sind das Ergebnis der Umsetzung wirksamer Strategien zur Schulung von LLMs und zur möglichst effizienten Nutzung der Bordhardware. Das Team konnte durch umfangreiche Tests von 22 Milliarden, 175 Milliarden und 1 Billion Parametern bemerkenswerte Ergebnisse erzielen, und die erhaltenen Zahlen sind das Ergebnis der Optimierung und Feinabstimmung des Modelltrainingsprozesses. Die Ergebnisse wurden durch den Einsatz von bis zu 3.000 KI-Beschleunigern MI250X von AMD erzielt, die ihr Können unter Beweis gestellt haben, obwohl es sich um relativ veraltete Hardware handelt.
Interessanter ist, dass der gesamte Frontier-Supercomputer 37.000 MI250X-GPUs beherbergt, sodass man sich die Leistung vorstellen kann, wenn der gesamte GPU-Pool zur Stromversorgung von LLMs verwendet wird. AMD steht außerdem kurz davor, seine MI300 GPU-Beschleuniger in brandneuen Supercomputern mit einem robusten ROCm 6.0-Ökosystem zu implementieren , das die KI-Leistung weiter beschleunigt.
Für 22 Milliarden, 175 Milliarden und 1 Billion Parameter erreichten wir GPU-Durchsätze von 38,38 %, 36,14 % bzw. 31,96 %. Für das Training des 175-Milliarden-Parametermodells und des 1-Billion-Parametermodells haben wir auf 1024 bzw. 3072 MI250X-GPUs eine schwache Skalierungseffizienz von 100 % erreicht. Außerdem haben wir für diese beiden Modelle starke Skalierungseffizienzen von 89 % und 87 % erreicht.
– Arvix
Nachrichtenquelle: Arvix
Ähnliche Artikel:
V-Color stellt den ersten übertaktbaren RDIMM DDR5-Speicher mit hoher Kapazität vor, der Geschwindigkeiten von 6000 MT/s und bis zu 256 GB Kapazität bietet
14:57
G.Skill bringt CSO-DIMM DDR5-Speicher auf den Markt, Übertaktung auf bis zu 8133 MT/s für das ASRock DeskMini B860-System möglich
14:17
GameMax stellt Dragon Knight 2 Full Tower-Gehäuse mit 8 HDD-Steckplätzen und vorinstallierten ARGB-Lüftern zum Preis von 105 US-Dollar vor
14:13
Schreibe einen Kommentar