NVIDIA Blackwell vs AMD MI325X : les derniers résultats du benchmark d’inférence MLPerf montrent que le B200 établit des records, tandis qu’Instinct rivalise avec Hopper
NVIDIA et AMD ont récemment dévoilé leurs dernières mesures de performances pour MLPerf Inference, présentant leurs GPU avancés, notamment le Blackwell B200 et l’Instinct MI325X.
NVIDIA Blackwell B200 et AMD Instinct MI325X : les derniers résultats du benchmark d’inférence MLPerf
Les nouveaux benchmarks MLPerf Inference v5.0 mettent en lumière des avancées significatives, les deux géants du GPU présentant leurs dernières mesures de performances. Si les capacités brutes du GPU sont cruciales, l’optimisation logicielle efficace et la prise en charge complète des écosystèmes d’IA émergents jouent également un rôle essentiel dans ces résultats.
NVIDIA Blackwell atteint des performances sans précédent
Le système innovant GB200 NVL72, qui intègre 72 GPU NVIDIA Blackwell pour fonctionner comme un seul GPU complet, a atteint un débit exceptionnel 30 fois supérieur lors du benchmark Llama 3.1 405B par rapport au précédent NVIDIA H200 NVL8. Cette performance remarquable est le fruit d’un triplement des performances par GPU et d’un domaine d’interconnexion NVIDIA NVLink considérablement étendu.
Bien qu’une multitude d’entreprises utilisent les benchmarks MLPerf pour évaluer les performances, seuls NVIDIA et ses partenaires ont soumis des résultats relatifs au benchmark Llama 3.1 405B.
Les déploiements d’inférence en production sont souvent confrontés à des problèmes de latence liés à des indicateurs critiques. Le premier est le délai d’obtention du premier jeton (TTFT), qui indique le temps nécessaire à un utilisateur pour recevoir une réponse d’un modèle de langage volumineux. Le second est le temps par jeton de sortie (TPOT), qui mesure la rapidité avec laquelle les jetons sont délivrés aux utilisateurs.
Le nouveau benchmark interactif Llama 2 70B démontre des améliorations significatives avec une réduction de 5 fois du TPOT et de 4, 4 fois du TTFT, indiquant une expérience utilisateur nettement plus réactive. Sur ce benchmark, la carte graphique NVIDIA, propulsée par un système NVIDIA DGX B200 équipé de huit GPU Blackwell, a triplé ses performances par rapport à une configuration H200 à huit GPU, établissant ainsi un standard élevé dans ce test Llama 2 70B plus exigeant.
Les capacités intégrées de l’architecture Blackwell associées à son cadre logiciel optimisé représentent une avancée majeure en matière de performances d’inférence, permettant aux usines d’IA d’améliorer l’intelligence, d’augmenter le débit et d’accélérer les taux de livraison de jetons.
NVIDIA, l’équipe verte, démontre une fois de plus sa supériorité en matière de performances avec les derniers GPU Blackwell, notamment la série B200. Le rack GB200 NVL72, équipé de 72 puces B200, domine le marché, affichant un débit 30 fois supérieur aux benchmarks Llama 3.1 405B par rapport à la génération précédente H200. De plus, les résultats du benchmark Llama 70B confirment un triplement des performances avec une configuration B200 à huit GPU par rapport à une configuration H200 à huit GPU.
Par ailleurs, AMD a présenté son dernier accélérateur Instinct MI325X 256 Go, présenté en configuration x8. Bien que les résultats d’AMD soient comparables à ceux du système H200, la capacité mémoire accrue bénéficie considérablement aux modèles de langage étendus (LLM).Cependant, ils restent en retrait par rapport au Blackwell B200. Pour rester compétitif, AMD devra maintenir sa dynamique sur ses offres matérielles et logicielles, notamment avec l’arrivée prévue de sa plateforme Ultra, la B300, plus tard cette année.
De plus, les tests de performance de la série Hopper H200 indiquent des efforts d’optimisation continus, qui ont permis une augmentation remarquable de 50 % des performances d’inférence par rapport à l’année dernière. Cette amélioration est significative pour les entreprises qui dépendent de plus en plus de ces plateformes pour leurs opérations.
Laisser un commentaire ▼