NVIDIA Blackwell vs AMD MI325X: Los últimos resultados de la prueba de referencia de inferencia MLPerf muestran que B200 establece récords mientras Instinct compite con Hopper
NVIDIA y AMD han revelado recientemente sus últimas métricas de rendimiento para MLPerf Inference, mostrando sus GPU avanzadas, incluidas la Blackwell B200 y la Instinct MI325X.
NVIDIA Blackwell B200 y AMD Instinct MI325X: los últimos resultados de la prueba de referencia de inferencia MLPerf
Los nuevos benchmarks de MLPerf Inference v5.0 destacan avances significativos, ya que ambas empresas líderes en GPU presentan sus últimas métricas de rendimiento de chips. Si bien las capacidades de la GPU son cruciales, la optimización eficaz del software y el soporte integral para los ecosistemas de IA emergentes también son fundamentales en estos resultados.
NVIDIA Blackwell logra un rendimiento sin precedentes
El innovador sistema GB200 NVL72, que integra 72 GPU NVIDIA Blackwell para funcionar como una GPU única y extensa, logró un rendimiento excepcionalmente 30 veces superior en la prueba de referencia Llama 3.1 405B, en comparación con el modelo NVIDIA H200 NVL8 anterior. Este notable logro se debe a mejoras de más del triple en el rendimiento por GPU y a un dominio de interconexión NVIDIA NVLink considerablemente ampliado.
Si bien muchas empresas aprovechan los puntos de referencia MLPerf para evaluar el rendimiento, solo NVIDIA y sus socios han presentado resultados correspondientes al punto de referencia Llama 3.1 405B.
Las implementaciones de inferencia de producción suelen enfrentar desafíos de latencia con métricas críticas. La primera es el tiempo hasta el primer token (TTFT), que indica cuánto tarda un usuario en recibir una respuesta de un modelo de lenguaje extenso. La segunda es el tiempo por token de salida (TPOT), que mide la rapidez con la que se entregan los tokens a los usuarios.
El nuevo benchmark interactivo Llama 2 70B muestra mejoras significativas, con una reducción de 5 veces en el TPOT y de 4, 4 veces en el TTFT, lo que indica una experiencia de usuario notablemente más ágil. En este benchmark, el sistema de NVIDIA, equipado con un sistema NVIDIA DGX B200 y ocho GPU Blackwell, triplicó su rendimiento en comparación con una configuración H200 de ocho GPU, estableciendo un alto estándar en esta exigente prueba Llama 2 70B.
Las capacidades integradas de la arquitectura Blackwell junto con su marco de software optimizado representan un gran avance en el rendimiento de inferencia, permitiendo que las fábricas de IA mejoren la inteligencia, incrementen el rendimiento y aceleren las tasas de entrega de tokens.
El Equipo Verde, NVIDIA, demuestra una vez más su dominio en rendimiento con las últimas GPU Blackwell, en particular la serie B200. El rack GB200 NVL72 con 72 chips B200 lidera el grupo, con un impresionante rendimiento 30 veces superior en las pruebas de rendimiento Llama 3.1 405B, en comparación con la generación anterior H200. Además, los resultados de las pruebas Llama 70B confirman que el rendimiento se triplica con una configuración de ocho GPU B200 frente a una configuración de ocho GPU H200.
Además, AMD ha presentado su último acelerador Instinct MI325X de 256 GB, con configuración x8. Si bien los resultados de AMD son comparables a los del sistema H200, la mayor capacidad de memoria beneficia significativamente a los modelos de lenguaje grande (LLM).Sin embargo, aún están por detrás del Blackwell B200. Para mantenerse competitivo, AMD deberá mantener el impulso en sus ofertas de hardware y software, especialmente con la llegada prevista de su plataforma Ultra, la B300, a finales de este año.
Además, los resultados de la serie Hopper H200 indican un esfuerzo continuo de optimización, lo que ha resultado en un notable aumento del 50 % en el rendimiento de inferencia en comparación con el año pasado. Esta mejora es significativa para las empresas que dependen cada vez más de estas plataformas para sus operaciones.
Deja una respuesta ▼