Comparaison des benchmarks d’inférence IA MLPerf v5.1 : Pleins feux sur NVIDIA Blackwell Ultra GB300 et AMD Instinct MI355X

Les derniers benchmarks d’inférence IA MLPerf v5.1 ont vu le lancement de puces révolutionnaires de NVIDIA et AMD : le Blackwell Ultra GB300 et l’Instinct MI355X. Ces puissants processeurs suscitent un vif intérêt au sein de la communauté technologique grâce à leurs performances exceptionnelles.

NVIDIA Blackwell Ultra GB300 et AMD Instinct MI355X : une nouvelle référence en matière de performances IA

MLCommons a récemment publié sa dernière évaluation des performances de l’IA via les benchmarks MLPerf v5.1, révélant des performances remarquables, notamment de NVIDIA et d’AMD. Les cartes Blackwell Ultra GB300 et Instinct MI355X se distinguent comme les meilleures offres de leurs fabricants respectifs en matière de technologie d’IA. Dans cette analyse, nous examinerons attentivement leurs capacités, telles que démontrées par les benchmarks.

Points forts des performances du Blackwell Ultra GB300

Dans la catégorie DeepSeek R1 (hors ligne), le GB300 de NVIDIA surpasse son prédécesseur, le GB200, avec une augmentation spectaculaire des performances de 45 % dans les configurations à 72 GPU et de 44 % dans celles à 8 GPU. Ces améliorations correspondent étroitement aux gains de performances prévus par NVIDIA.

Dans la catégorie DeepSeek R1 (Serveur), le Blackwell a fait des progrès notables avec une augmentation de 25 % des performances pour 72 GPU et une augmentation de 21 % dans les configurations avec 8 GPU.

L’Instinct MI355X d’AMD entre dans l’arène

L’AMD Instinct MI355X a également apporté des contributions substantielles, notamment lors des benchmarks Llama 3.1 405B (hors ligne).Une évaluation comparative avec le GB200 a révélé une augmentation remarquable des performances de 27 %, démontrant les avancées d’AMD dans le secteur de l’IA.

De plus, dans un benchmark impliquant Llama 2 70B (hors ligne), le MI355X a montré un débit impressionnant, générant jusqu’à 648 248 jetons par seconde avec une configuration à 64 puces et une augmentation frappante des performances de 2, 09x par rapport au NVIDIA GB200 dans une configuration à 8 puces.

NVIDIA a partagé une analyse détaillée de ses benchmarks, incluant les différents records obtenus grâce à la plateforme Blackwell Ultra GB300. Ces résultats témoignent d’une avancée significative dans les capacités d’inférence de l’IA.

Source de l’image : NVIDIA

Tableau d’enregistrement complet

Enregistrements par accélérateur d’inférence MLPerf
Référence	Hors ligne	Serveur	Interactif
DeepSeek-R1	5 842 jetons/seconde/GPU	2 907 jetons/seconde/GPU	**
Flamme 3.1 405B	224 jetons/seconde/GPU	170 jetons/seconde/GPU	138 jetons/seconde/GPU
Appelez 2 70B 99, 9%	12 934 jetons/seconde/GPU	12 701 jetons/seconde/GPU	7 856 jetons/seconde/GPU
Appelez 2 70B 99%	13 015 jetons/seconde/GPU	12 701 jetons/seconde/GPU	7 856 jetons/seconde/GPU
Lama 3.1 8B	18 370 jetons/seconde/GPU	16 099 jetons/seconde/GPU	15 284 jetons/seconde/GPU
Diffusion Stable XL	4, 07 échantillons/seconde/GPU	3, 59 requêtes/seconde/GPU	**
Mixtral 8x7B	16 099 jetons/seconde/GPU	16 131 jetons/seconde/GPU	**
DLRMv2 99%	87 228 échantillons/seconde/GPU	80 515 échantillons/seconde/GPU	**
DLRMv2 99, 9%	48 666 échantillons/seconde/GPU	46 259 requêtes/seconde/GPU	**
Chuchoter	5 667 jetons/seconde/GPU	**	**
R-GAT	81 404 échantillons/seconde/GPU	**	**
Rétinanet	1 875 échantillons/seconde/GPU	1 801 requêtes/seconde/GPU	**

De plus, Blackwell Ultra de NVIDIA a établi de nouveaux critères de raisonnement chez MLPerf, surpassant leur précédente architecture Hopper par un multiplicateur de 4, 7x en mode hors ligne et de 5, 2x dans les configurations de serveur, indiquant un bond substantiel en termes d’efficacité.

Comparaison des performances de DeepSeek-R1
Architecture	Hors ligne	Serveur
Trémie	1 253 jetons/seconde/GPU	556 jetons/seconde/GPU
Blackwell Ultra	5 842 jetons/seconde/GPU	2 907 jetons/seconde/GPU
Avantage Blackwell Ultra	4, 7x	5, 2x

Alors que nous attendons avec impatience les futures soumissions MLPerf, il est prévu que NVIDIA, AMD et Intel continueront d’améliorer leurs plates-formes, s’efforçant d’atteindre des niveaux de performance encore plus élevés dans ce paysage concurrentiel.

Source et images