Le superordinateur Frontier alimenté par AMD et équipé de GPU Instinct MI250X a réalisé une exécution LLM de 1 000 milliards de paramètres, rivalisant avec ChatGPT-4.
Le supercalculateur Frontier établit de nouveaux records dans le domaine de la formation LLM, grâce aux processeurs et processeurs EPYC d’AMD. GPU instinctifs
Le supercalculateur Frontier est le premier supercalculateur au monde et la seule machine Exascale actuellement opérationnelle. Cette machine est alimentée par le processeur EPYC & Matériel Instinct qui offre non seulement les meilleures performances HPC mais est également le 2e supercalculateur le plus efficace de la planète2e supercalculateur le plus efficace de la planète a> par des individus a révélé que le supercalculateur Frontier a atteint la capacité d’entraîner un billion de paramètres grâce au « réglage des hyperparamètres », créant ainsi une nouvelle industrie. référence.Arxiv. Un rapport soumis sur
Avant d’entrer dans le vif du sujet, faisons un bref récapitulatif de ce que contient le supercalculateur Frontier. Le superordinateur d’ORNL a été conçu dès le départ avec les processeurs AMD EPYC Trento de 3e génération et les accélérateurs GPU Instinct MI250X. Il est installé au laboratoire national d’Oak Ridge (ORNL) dans le Tennessee, aux États-Unis, où il est exploité par le ministère de l’Énergie (DOE). Il atteint actuellement 1,194 Exaflop/s en utilisant 8 699 904 cœurs. L’architecture HPE Cray EX combine des processeurs AMD EPYC de 3e génération optimisés pour le HPC et l’IA, avec des accélérateurs AMD Instinct 250X et une interconnexion Slingshot-11. Frontier a réussi à conserver la première place sur la liste des superordinateurs Top500.org, démontrant ainsi sa domination.
Les nouveaux records atteints par Frontier sont le résultat de la mise en œuvre de stratégies efficaces pour former les LLM et utiliser le matériel embarqué le plus efficacement possible. L’équipe a pu obtenir des résultats notables grâce à ses tests approfondis de 22 milliards, 175 milliards et 1 000 milliards de paramètres, et les chiffres obtenus sont le résultat de l’optimisation et de l’affinement du processus de formation du modèle. Les résultats ont été obtenus en utilisant jusqu’à 3 000 accélérateurs d’IA MI250X d’AMD, qui ont montré leurs prouesses bien qu’il s’agisse d’un matériel relativement obsolète.
Ce qui est plus intéressant, c’est que l’ensemble du supercalculateur Frontier héberge 37 000 GPU MI250X. On peut donc imaginer le type de performances obtenues lors de l’utilisation de l’ensemble du pool de GPU pour alimenter les LLM. AMD est également sur le point d’implémenter ses accélérateurs GPU MI300 dans de tout nouveaux supercalculateurs dotés d’un écosystème ROCm 6.0 robuste. qui accélère encore les performances de l’IA.
Pour 22 milliards, 175 milliards et 1 000 milliards de paramètres, nous avons atteint des débits GPU de 38,38 %, 36,14 % et 31,96 %, respectivement. Pour la formation du modèle de paramètres à 175 milliards et du modèle à 1 billion de paramètres, nous avons atteint une efficacité de mise à l’échelle faible de 100 % sur 1 024 et 3 072 GPU MI250X, respectivement. Nous avons également atteint de fortes efficacités de mise à l’échelle de 89 % et 87 % pour ces deux modèles.
–Arvix
Source d’actualité : Arvix
Articles connexes:
ASUS améliore les performances du système et la prise en charge des processeurs AMD Ryzen 9 9000X3D avec la mise à jour du BIOS AGESA 1.2.0.3 pour les cartes mères X870 et X670
14:28
Modèle personnalisé AMD Radeon RX 9070 XT au prix de 530 $, doté d’un GPU Navi 48 avec une vitesse d’horloge de près de 3 GHz
14:22
AMD enregistre une croissance record de sa part de marché dans le domaine des processeurs pour clients et stations de travail ; Intel peine à suivre
14:21
Laisser un commentaire