Comparação de benchmark de inferência de IA do MLPerf v5.1: Destaque para NVIDIA Blackwell Ultra GB300 e AMD Instinct MI355X

Os mais recentes benchmarks de inferência de IA do MLPerf v5.1 testemunharam a estreia de chips inovadores da NVIDIA e da AMD: o Blackwell Ultra GB300 e o Instinct MI355X. Esses poderosos processadores estão gerando um burburinho considerável na comunidade tecnológica por suas excelentes métricas de desempenho.

NVIDIA Blackwell Ultra GB300 e AMD Instinct MI355X: uma nova referência em desempenho de IA

A MLCommons divulgou recentemente sua mais recente avaliação de desempenho de IA por meio dos benchmarks MLPerf v5.1, revelando resultados notáveis, principalmente da NVIDIA e da AMD. O Blackwell Ultra GB300 e o Instinct MI355X se destacam como as principais ofertas em tecnologia de IA de seus respectivos fabricantes. Nesta análise, examinaremos de perto suas capacidades, conforme demonstrado pelos benchmarks.

Destaques de desempenho do Blackwell Ultra GB300

Na categoria DeepSeek R1 (Offline), o GB300 da NVIDIA supera seu antecessor, o GB200, alcançando um aumento significativo de desempenho de 45% em configurações com 72 GPUs e um aumento de 44% em uma configuração com 8 GPUs. Essas melhorias estão em estreita sintonia com os ganhos de desempenho projetados pela NVIDIA.

Na categoria DeepSeek R1 (Servidor), o Blackwell fez avanços notáveis com um aumento de 25% no desempenho para 72 GPUs e um aumento de 21% em configurações com 8 GPUs.

O Instinct MI355X da AMD entra na arena

O AMD Instinct MI355X também fez contribuições substanciais, particularmente nos benchmarks Llama 3.1 405B (Offline).Uma avaliação comparativa com o GB200 revelou um notável aumento de desempenho de 27%, demonstrando os avanços da AMD no setor de IA.

Além disso, em um benchmark envolvendo o Llama 2 70B (offline), o MI355X apresentou uma taxa de transferência impressionante, gerando até 648.248 tokens por segundo com uma configuração de 64 chips e um aumento impressionante de desempenho de 2, 09x em relação ao NVIDIA GB200 em uma configuração de 8 chips.

A NVIDIA compartilhou uma análise detalhada de seus benchmarks, incluindo os diversos recordes alcançados pela plataforma Blackwell Ultra GB300. Esses resultados demonstram um avanço significativo nos recursos de inferência de IA.

Blackwell estabelece recorde interativo do Llama 3.1 405B com logotipo da NVIDIA no contexto do gráfico de desempenho. — Fonte da imagem: NVIDIA

Tabela de Registro Abrangente

Registros de inferência por acelerador MLPerf
Referência	Off-line	Servidor	Interativo
DeepSeek-R1	5.842 tokens/segundo/GPU	2.907 tokens/segundo/GPU	**
Chama 3.1 405B	224 tokens/segundo/GPU	170 tokens/segundo/GPU	138 tokens/segundo/GPU
Ligue para 2 70B 99, 9%	12.934 tokens/segundo/GPU	12.701 tokens/segundo/GPU	7.856 tokens/segundo/GPU
Ligue para 2 70B 99%	13.015 tokens/segundo/GPU	12.701 tokens/segundo/GPU	7.856 tokens/segundo/GPU
Lhama 3.1 8B	18.370 tokens/segundo/GPU	16.099 tokens/segundo/GPU	15.284 tokens/segundo/GPU
Difusão Estável XL	4, 07 amostras/segundo/GPU	3, 59 consultas/segundo/GPU	**
Mixtral 8x7B	16.099 tokens/segundo/GPU	16.131 tokens/segundo/GPU	**
DLRMv2 99%	87.228 amostras/segundo/GPU	80.515 amostras/segundo/GPU	**
DLRMv2 99, 9%	48.666 amostras/segundo/GPU	46.259 consultas/segundo/GPU	**
Sussurrar	5.667 tokens/segundo/GPU	**	**
R-GAT	81.404 amostras/segundo/GPU	**	**
Retinanet	1.875 amostras/segundo/GPU	1.801 consultas/segundo/GPU	**

Além disso, o Blackwell Ultra da NVIDIA estabeleceu novos benchmarks de raciocínio no MLPerf, superando sua arquitetura Hopper anterior por um multiplicador de 4, 7x no modo offline e 5, 2x em configurações de servidor, indicando um salto substancial em eficácia.

Comparação de desempenho do DeepSeek-R1
Arquitetura	Off-line	Servidor
Funil	1.253 tokens/segundo/GPU	556 tokens/segundo/GPU
Blackwell Ultra	5.842 tokens/segundo/GPU	2.907 tokens/segundo/GPU
Blackwell Ultra Advantage	4, 7x	5, 2x

Enquanto aguardamos os futuros envios do MLPerf, espera-se que NVIDIA, AMD e Intel continuem aprimorando suas plataformas, buscando níveis de desempenho ainda maiores neste cenário competitivo.

Fonte e Imagens