Comparación de referencia de inferencia de IA de MLPerf v5.1: NVIDIA Blackwell Ultra GB300 y AMD Instinct MI355X en el punto de mira

Comparación de referencia de inferencia de IA de MLPerf v5.1: NVIDIA Blackwell Ultra GB300 y AMD Instinct MI355X en el punto de mira

Las últimas pruebas de inferencia de IA de MLPerf v5.1 han presentado el debut de los innovadores chips de NVIDIA y AMD: el Blackwell Ultra GB300 y el Instinct MI355X. Estos potentes procesadores están generando un gran revuelo en la comunidad tecnológica gracias a sus excelentes métricas de rendimiento.

NVIDIA Blackwell Ultra GB300 y AMD Instinct MI355X: un nuevo referente en rendimiento de IA

MLCommons publicó recientemente su última evaluación del rendimiento de la IA mediante los benchmarks MLPerf v5.1, que revela resultados destacados, especialmente de NVIDIA y AMD. Los procesadores Blackwell Ultra GB300 e Instinct MI355X se destacan como las principales ofertas en tecnología de IA de sus respectivos fabricantes. En este análisis, examinaremos en detalle sus capacidades, tal como se demuestran en los benchmarks.

Características destacadas del Blackwell Ultra GB300

En la categoría DeepSeek R1 (sin conexión), el GB300 de NVIDIA supera a su predecesor, el GB200, logrando un aumento drástico del 45 % en el rendimiento en configuraciones de 72 GPU y del 44 % en configuraciones de 8 GPU. Estas mejoras se ajustan estrechamente a las mejoras de rendimiento proyectadas por NVIDIA.

En la categoría DeepSeek R1 (Servidor), Blackwell ha logrado avances notables con un aumento del 25% en el rendimiento para 72 GPU y un aumento del 21% en configuraciones con 8 GPU.

El Instinct MI355X de AMD entra en la arena

El AMD Instinct MI355X también ha realizado contribuciones sustanciales, especialmente en las pruebas de rendimiento Llama 3.1 405B (sin conexión).Una evaluación comparativa con el GB200 reveló un notable aumento del rendimiento del 27 %, lo que demuestra los avances de AMD en el sector de la IA.

Además, en una prueba de rendimiento con Llama 2 70B (fuera de línea), el MI355X mostró un rendimiento impresionante, generando hasta 648, 248 tokens por segundo con una configuración de 64 chips y un sorprendente aumento de rendimiento de 2, 09x sobre el NVIDIA GB200 en una configuración de 8 chips.

NVIDIA ha compartido un análisis detallado de sus benchmarks, incluyendo los diversos récords alcanzados con la plataforma Blackwell Ultra GB300. Estos resultados demuestran un avance significativo en las capacidades de inferencia de IA.

Blackwell establece el título del récord interactivo Llama 3.1 405B con el logotipo de NVIDIA en el contexto del gráfico de rendimiento.
Fuente de la imagen: NVIDIA

Tabla de registros completa

Registros por acelerador de inferencia de MLPerf
Punto de referencia Desconectado Servidor Interactivo
Búsqueda profunda-R1 5, 842 tokens/segundo/GPU 2, 907 tokens/segundo/GPU **
Llama 3.1 405B 224 tokens/segundo/GPU 170 tokens/segundo/GPU 138 tokens/segundo/GPU
Llama 2 70B 99.9% 12, 934 tokens/segundo/GPU 12, 701 tokens/segundo/GPU 7, 856 tokens/segundo/GPU
Llama 2 70B 99% 13.015 tokens/segundo/GPU 12, 701 tokens/segundo/GPU 7, 856 tokens/segundo/GPU
Llama 3.1 8B 18, 370 tokens/segundo/GPU 16.099 tokens/segundo/GPU 15, 284 tokens/segundo/GPU
Difusión estable XL 4, 07 muestras/segundo/GPU 3, 59 consultas/segundo/GPU **
Mixtral 8x7B 16.099 tokens/segundo/GPU 16, 131 tokens/segundo/GPU **
DLRMv2 99% 87, 228 muestras/segundo/GPU 80.515 muestras/segundo/GPU **
DLRMv2 99, 9% 48.666 muestras/segundo/GPU 46.259 consultas/segundo/GPU **
Susurro 5, 667 tokens/segundo/GPU ** **
R-GAT 81.404 muestras/segundo/GPU ** **
Retinanet 1.875 muestras/segundo/GPU 1.801 consultas/segundo/GPU **

Además, Blackwell Ultra de NVIDIA ha establecido nuevos puntos de referencia de razonamiento en MLPerf, superando su arquitectura Hopper anterior por un multiplicador de 4, 7x en modo fuera de línea y 5, 2x en configuraciones de servidor, lo que indica un salto sustancial en eficacia.

Comparación del rendimiento de DeepSeek-R1
Arquitectura Desconectado Servidor
Tolva 1253 tokens/segundo/GPU 556 tokens/segundo/GPU
Blackwell Ultra 5, 842 tokens/segundo/GPU 2, 907 tokens/segundo/GPU
Ventaja Ultra de Blackwell 4, 7x 5.2x

Mientras esperamos futuras presentaciones de MLPerf, se anticipa que NVIDIA, AMD e Intel continuarán mejorando sus plataformas, esforzándose por lograr niveles de rendimiento aún mayores en este panorama competitivo.

Fuente e imágenes

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *