Las últimas pruebas de inferencia de IA de MLPerf v5.1 han presentado el debut de los innovadores chips de NVIDIA y AMD: el Blackwell Ultra GB300 y el Instinct MI355X. Estos potentes procesadores están generando un gran revuelo en la comunidad tecnológica gracias a sus excelentes métricas de rendimiento.
NVIDIA Blackwell Ultra GB300 y AMD Instinct MI355X: un nuevo referente en rendimiento de IA
MLCommons publicó recientemente su última evaluación del rendimiento de la IA mediante los benchmarks MLPerf v5.1, que revela resultados destacados, especialmente de NVIDIA y AMD. Los procesadores Blackwell Ultra GB300 e Instinct MI355X se destacan como las principales ofertas en tecnología de IA de sus respectivos fabricantes. En este análisis, examinaremos en detalle sus capacidades, tal como se demuestran en los benchmarks.
Características destacadas del Blackwell Ultra GB300
En la categoría DeepSeek R1 (sin conexión), el GB300 de NVIDIA supera a su predecesor, el GB200, logrando un aumento drástico del 45 % en el rendimiento en configuraciones de 72 GPU y del 44 % en configuraciones de 8 GPU. Estas mejoras se ajustan estrechamente a las mejoras de rendimiento proyectadas por NVIDIA.
En la categoría DeepSeek R1 (Servidor), Blackwell ha logrado avances notables con un aumento del 25% en el rendimiento para 72 GPU y un aumento del 21% en configuraciones con 8 GPU.
El Instinct MI355X de AMD entra en la arena
El AMD Instinct MI355X también ha realizado contribuciones sustanciales, especialmente en las pruebas de rendimiento Llama 3.1 405B (sin conexión).Una evaluación comparativa con el GB200 reveló un notable aumento del rendimiento del 27 %, lo que demuestra los avances de AMD en el sector de la IA.
Además, en una prueba de rendimiento con Llama 2 70B (fuera de línea), el MI355X mostró un rendimiento impresionante, generando hasta 648, 248 tokens por segundo con una configuración de 64 chips y un sorprendente aumento de rendimiento de 2, 09x sobre el NVIDIA GB200 en una configuración de 8 chips.
NVIDIA ha compartido un análisis detallado de sus benchmarks, incluyendo los diversos récords alcanzados con la plataforma Blackwell Ultra GB300. Estos resultados demuestran un avance significativo en las capacidades de inferencia de IA.
Tabla de registros completa
| Registros por acelerador de inferencia de MLPerf | |||
| Punto de referencia | Desconectado | Servidor | Interactivo |
| Búsqueda profunda-R1 | 5, 842 tokens/segundo/GPU | 2, 907 tokens/segundo/GPU | ** |
| Llama 3.1 405B | 224 tokens/segundo/GPU | 170 tokens/segundo/GPU | 138 tokens/segundo/GPU |
| Llama 2 70B 99.9% | 12, 934 tokens/segundo/GPU | 12, 701 tokens/segundo/GPU | 7, 856 tokens/segundo/GPU |
| Llama 2 70B 99% | 13.015 tokens/segundo/GPU | 12, 701 tokens/segundo/GPU | 7, 856 tokens/segundo/GPU |
| Llama 3.1 8B | 18, 370 tokens/segundo/GPU | 16.099 tokens/segundo/GPU | 15, 284 tokens/segundo/GPU |
| Difusión estable XL | 4, 07 muestras/segundo/GPU | 3, 59 consultas/segundo/GPU | ** |
| Mixtral 8x7B | 16.099 tokens/segundo/GPU | 16, 131 tokens/segundo/GPU | ** |
| DLRMv2 99% | 87, 228 muestras/segundo/GPU | 80.515 muestras/segundo/GPU | ** |
| DLRMv2 99, 9% | 48.666 muestras/segundo/GPU | 46.259 consultas/segundo/GPU | ** |
| Susurro | 5, 667 tokens/segundo/GPU | ** | ** |
| R-GAT | 81.404 muestras/segundo/GPU | ** | ** |
| Retinanet | 1.875 muestras/segundo/GPU | 1.801 consultas/segundo/GPU | ** |
Además, Blackwell Ultra de NVIDIA ha establecido nuevos puntos de referencia de razonamiento en MLPerf, superando su arquitectura Hopper anterior por un multiplicador de 4, 7x en modo fuera de línea y 5, 2x en configuraciones de servidor, lo que indica un salto sustancial en eficacia.
| Comparación del rendimiento de DeepSeek-R1 | ||
| Arquitectura | Desconectado | Servidor |
| Tolva | 1253 tokens/segundo/GPU | 556 tokens/segundo/GPU |
| Blackwell Ultra | 5, 842 tokens/segundo/GPU | 2, 907 tokens/segundo/GPU |
| Ventaja Ultra de Blackwell | 4, 7x | 5.2x |
Mientras esperamos futuras presentaciones de MLPerf, se anticipa que NVIDIA, AMD e Intel continuarán mejorando sus plataformas, esforzándose por lograr niveles de rendimiento aún mayores en este panorama competitivo.
Artículos relacionados:
Crucial presenta la memoria LPCAMM2 para portátiles: alcanza una capacidad de hasta 64 GB y una velocidad de 8533 MT/s
18:08
Wangyu Esports integrará procesadores Ryzen X3D en sus cafeterías para una experiencia de juego mejorada de 1000 FPS
16:35
TSMC acelera la producción de nodos de vanguardia en EE. UU.: el A16 (1,6 nm) se lanzará un año antes debido a las demandas de paridad entre EE. UU. y Taiwán.
16:34
Deja una respuesta