Confronto benchmark di inferenza AI MLPerf v5.1: riflettori puntati su NVIDIA Blackwell Ultra GB300 e AMD Instinct MI355X

Gli ultimi benchmark di inferenza AI MLPerf v5.1 hanno visto il debutto di chip rivoluzionari di NVIDIA e AMD: il Blackwell Ultra GB300 e l’Instinct MI355X. Questi potenti processori stanno suscitando notevole interesse nella comunità tecnologica per le loro eccezionali prestazioni.

NVIDIA Blackwell Ultra GB300 e AMD Instinct MI355X: un nuovo benchmark nelle prestazioni dell’intelligenza artificiale

MLCommons ha recentemente pubblicato la sua ultima valutazione delle prestazioni dell’intelligenza artificiale tramite i benchmark MLPerf v5.1, evidenziando risultati notevoli, in particolare da parte di NVIDIA e AMD. Blackwell Ultra GB300 e Instinct MI355X si distinguono come le migliori offerte in termini di tecnologia AI dei rispettivi produttori. In questa analisi, esamineremo attentamente le loro capacità, così come dimostrate dai benchmark.

Punti salienti delle prestazioni di Blackwell Ultra GB300

Nella categoria DeepSeek R1 (Offline), la scheda GB300 di NVIDIA supera il suo predecessore, la GB200, ottenendo un netto aumento delle prestazioni del 45% in configurazioni da 72 GPU e del 44% in configurazioni da 8 GPU. Questi miglioramenti sono in linea con i guadagni di prestazioni previsti da NVIDIA.

Nella categoria DeepSeek R1 (Server), Blackwell ha fatto passi da gigante con un aumento del 25% delle prestazioni per 72 GPU e un incremento del 21% nelle configurazioni con 8 GPU.

L’Instinct MI355X di AMD entra nell’arena

Anche l’AMD Instinct MI355X ha dato un contributo sostanziale, in particolare nei benchmark Llama 3.1 405B (Offline).Una valutazione comparativa con il GB200 ha rivelato un notevole aumento delle prestazioni del 27%, a dimostrazione dei progressi di AMD nel settore dell’intelligenza artificiale.

Inoltre, in un benchmark che coinvolgeva Llama 2 70B (offline), l’MI355X ha mostrato una produttività impressionante, generando fino a 648.248 token al secondo con una configurazione a 64 chip e un sorprendente aumento delle prestazioni di 2, 09 volte rispetto all’NVIDIA GB200 in una configurazione a 8 chip.

NVIDIA ha condiviso un’analisi dettagliata dei propri benchmark, inclusi i vari record raggiunti grazie alla piattaforma Blackwell Ultra GB300. Questi risultati mostrano un significativo progresso nelle capacità di inferenza dell’intelligenza artificiale.

Fonte dell’immagine: NVIDIA

Tabella di registrazione completa

Record per acceleratore di inferenza MLPerf
Segno di riferimento	Fuori linea	Server	Interattivo
DeepSeek-R1	5.842 token/secondo/GPU	2.907 token/secondo/GPU	**
Fiamma 3.1 405B	224 token/secondo/GPU	170 token/secondo/GPU	138 token/secondo/GPU
Chiama 2 70B 99, 9%	12.934 token/secondo/GPU	12.701 token/secondo/GPU	7.856 token/secondo/GPU
Chiama 2 70B 99%	13.015 token/secondo/GPU	12.701 token/secondo/GPU	7.856 token/secondo/GPU
Lama 3.1 8B	18.370 token/secondo/GPU	16.099 token/secondo/GPU	15.284 token/secondo/GPU
Diffusione stabile XL	4, 07 campioni/secondo/GPU	3, 59 query/secondo/GPU	**
Mixtral 8x7B	16.099 token/secondo/GPU	16.131 token/secondo/GPU	**
DLRMv2 99%	87.228 campioni/secondo/GPU	80.515 campioni/secondo/GPU	**
DLRMv2 99, 9%	48.666 campioni/secondo/GPU	46.259 query/secondo/GPU	**
Sussurro	5.667 token/secondo/GPU	**	**
R-GAT	81.404 campioni/secondo/GPU	**	**
Retinanet	1.875 campioni/secondo/GPU	1.801 query/secondo/GPU	**

Inoltre, Blackwell Ultra di NVIDIA ha stabilito nuovi benchmark di ragionamento presso MLPerf, superando la precedente architettura Hopper di un moltiplicatore di 4, 7x in modalità offline e di 5, 2x nelle configurazioni server, indicando un sostanziale balzo in avanti in termini di efficacia.

Confronto delle prestazioni di DeepSeek-R1
Architettura	Fuori linea	Server
Tramoggia	1.253 token/secondo/GPU	556 token/secondo/GPU
Blackwell Ultra	5.842 token/secondo/GPU	2.907 token/secondo/GPU
Vantaggio Ultra Blackwell	4, 7x	5, 2x

Mentre attendiamo con ansia le future proposte MLPerf, si prevede che NVIDIA, AMD e Intel continueranno a migliorare le loro piattaforme, puntando a livelli di prestazioni ancora più elevati in questo panorama competitivo.

Fonte e immagini