Il supercomputer Frontier alimentato da AMD con GPU Instinct MI250X ha raggiunto una corsa LLM da 1 trilione di parametri, rivaleggiando con ChatGPT-4.
Il supercomputer Frontier stabilisce nuovi record nello spazio della formazione LLM, per gentile concessione delle CPU EPYC e della tecnologia AMD. GPU istinto
Il supercomputer Frontier è il supercomputer leader a livello mondiale e l’unica macchina Exascale attualmente operativa. Questa macchina è alimentata da EPYC & Hardware Instinct che non solo offre le migliori prestazioni HPC ma è anche il 2° supercomputer più efficiente del pianeta da parte di singoli individui ha rivelato che il supercomputer Frontier ha raggiunto la capacità di addestrare un trilione di parametri attraverso la “sintonizzazione degli iperparametri”, creando un nuovo settore punto di riferimento.Arxiv. Un rapporto di presentazione di
Prima di entrare nel nocciolo della questione, facciamo un breve riepilogo di ciò che contiene il supercomputer Frontier. Il supercomputer di ORNL è stato progettato da zero con le CPU AMD EPYC Trento di terza generazione e gli acceleratori GPU Instinct MI250X. È installato presso l’Oak Ridge National Laboratory (ORNL) nel Tennessee, USA, dove è gestito dal Dipartimento dell’Energia (DOE). Attualmente ha raggiunto 1.194 Exaflop/s utilizzando 8.699.904 core. L’architettura HPE Cray EX combina CPU AMD EPYC di terza generazione ottimizzate per HPC e AI, con acceleratori AMD Instinct 250X e un’interconnessione Slingshot-11. Frontier è riuscita a mantenere il primo posto nella lista dei supercomputer Top500.org, dimostrando il suo dominio.
I nuovi record raggiunti da Frontier sono il risultato dell’implementazione di strategie efficaci per formare LLM e utilizzare l’hardware di bordo nel modo più efficiente. Il team è stato in grado di ottenere risultati notevoli attraverso i test approfonditi di 22 miliardi, 175 miliardi e 1 trilione di parametri e le cifre ottenute sono il risultato dell’ottimizzazione e della messa a punto del processo di formazione del modello. I risultati sono stati ottenuti impiegando fino a 3.000 acceleratori AI MI250X di AMD, che hanno dimostrato la loro abilità nonostante siano un componente hardware relativamente obsoleto.
La cosa più interessante è che l’intero supercomputer Frontier ospita 37.000 GPU MI250X, quindi si può immaginare il tipo di prestazioni quando si utilizza l’intero pool di GPU per alimentare gli LLM. AMD è anche sul punto di implementare i suoi acceleratori GPU MI300 in nuovissimi supercomputer con un robusto ecosistema ROCm 6.0 che accelera ulteriormente le prestazioni dell’IA.
Per parametri di 22 miliardi, 175 miliardi e 1 trilione, abbiamo raggiunto un throughput GPU rispettivamente del 38,38%, 36,14% e 31,96%. Per l’addestramento del modello di parametri da 175 miliardi e del modello di parametri da 1 trilione, abbiamo raggiunto un’efficienza di scaling debole del 100% rispettivamente su 1024 e 3072 GPU MI250X. Abbiamo anche raggiunto notevoli efficienze di scalabilità pari all’89% e all’87% per questi due modelli.
– Arvice
Fonte di notizie: Arvix
Articoli correlati:
La piattaforma grafica Intel Panther Lake ‘Xe3’ offre prestazioni di gioco fino al 18% superiori grazie a ottimizzazioni strategiche
18:20
Il principale lobbista di Intel per lo stabilimento in Ohio e diversi project manager se ne vanno a causa del rallentamento della produzione di chip negli Stati Uniti
16:01
Lo sviluppatore di MSI Afterburner testa i futuri campioni di GPU RTX 50 “OC” con controllo della tensione sbloccato, monitoraggio della temperatura VRM e funzionalità aggiuntive
9:13
Lascia un commento