NVIDIA Blackwell contro AMD MI325X: gli ultimi risultati del benchmark di inferenza MLPerf mostrano che B200 stabilisce record mentre Instinct compete con Hopper
NVIDIA e AMD hanno recentemente presentato le loro ultime metriche sulle prestazioni per MLPerf Inference, presentando le loro GPU avanzate, tra cui Blackwell B200 e Instinct MI325X.
NVIDIA Blackwell B200 e AMD Instinct MI325X: gli ultimi risultati del benchmark di inferenza MLPerf
I benchmark MLPerf Inference v5.0 appena rilasciati evidenziano progressi significativi, poiché entrambe le GPU potenti presentano le loro ultime metriche di prestazioni dei chip. Mentre le capacità GPU grezze sono cruciali, anche l’ottimizzazione software efficace e il supporto completo per gli ecosistemi AI emergenti svolgono un ruolo fondamentale in questi risultati.
NVIDIA Blackwell raggiunge prestazioni senza precedenti
L’innovativo sistema GB200 NVL72, che integra 72 GPU NVIDIA Blackwell per funzionare come una GPU singola ed estesa, ha raggiunto un throughput eccezionale 30 volte superiore nel benchmark Llama 3.1 405B rispetto alla precedente voce NVIDIA H200 NVL8. Questo notevole risultato deriva da oltre tre volte i miglioramenti delle prestazioni per GPU e da un dominio di interconnessione NVIDIA NVLink sostanzialmente ampliato.
Sebbene numerose aziende sfruttino i benchmark MLPerf per valutare le prestazioni, solo NVIDIA e i suoi partner hanno inviato risultati relativi al benchmark Llama 3.1 405B.
Le distribuzioni di inferenza di produzione affrontano spesso sfide di latenza con metriche critiche. La prima è il tempo al primo token (TTFT), che indica quanto tempo impiega un utente a ricevere una risposta da un modello linguistico di grandi dimensioni. La seconda è il tempo per token di output (TPOT), che misura la rapidità con cui i token vengono consegnati agli utenti.
Il nuovo benchmark interattivo Llama 2 70B dimostra miglioramenti significativi con una riduzione di 5 volte del TPOT e una diminuzione di 4, 4 volte del TTFT, indicando un’esperienza utente notevolmente più reattiva. In questo benchmark, la presentazione di NVIDIA, alimentata da un sistema NVIDIA DGX B200 con otto GPU Blackwell, ha triplicato le sue prestazioni rispetto a una configurazione H200 a otto GPU, stabilendo uno standard elevato in questo test Llama 2 70B più impegnativo.
Le capacità integrate dell’architettura Blackwell, abbinate al suo framework software ottimizzato, rappresentano una svolta nelle prestazioni di inferenza, consentendo alle fabbriche di intelligenza artificiale di migliorare l’intelligenza, aumentare la produttività e accelerare i tassi di distribuzione dei token.
Il Green Team, NVIDIA, dimostra ancora una volta il suo predominio nelle prestazioni con le ultime GPU Blackwell, in particolare la serie B200. Il rack GB200 NVL72 con 72 chip B200 guida il gruppo, producendo un impressionante throughput di prestazioni 30 volte superiore nei benchmark Llama 3.1 405B rispetto alla precedente generazione H200. Inoltre, i risultati del benchmark Llama 70B confermano una triplicazione delle prestazioni con una configurazione B200 a otto GPU rispetto a una configurazione H200 a otto GPU.
Inoltre, AMD ha introdotto il suo ultimo acceleratore Instinct MI325X da 256 GB, presentato in una configurazione x8. Sebbene i risultati di AMD siano paragonabili al sistema H200, la maggiore capacità di memoria avvantaggia in modo significativo i modelli di linguaggio di grandi dimensioni (LLM).Tuttavia, sono ancora indietro rispetto al Blackwell B200. Per rimanere competitiva, AMD dovrà mantenere lo slancio sia nelle sue offerte hardware che software, soprattutto con l’arrivo previsto della sua piattaforma Ultra, la B300, più avanti quest’anno.
Inoltre, i benchmark per la serie Hopper H200 indicano continui sforzi di ottimizzazione, con un notevole aumento del 50 percento nelle prestazioni di inferenza rispetto all’anno scorso. Questo miglioramento è significativo per le aziende che dipendono sempre di più da queste piattaforme per le loro operazioni.
Lascia un commento ▼