La última plataforma Blackwell de NVIDIA ha establecido un nuevo punto de referencia en la optimización de tokens para la inferencia de IA, lo que marca un logro significativo en el campo de la tokenómica.
El NVL72 GB200 de NVIDIA supera a Hopper con una Tokenomics 10 veces mejorada y destaca por su paralelismo de nivel experto.
En el vertiginoso panorama de la tecnología de IA, NVIDIA ha priorizado la mejora de la eficiencia de su hardware. Con la introducción de los modelos de IA fronteriza entrenados por Blackwell, se han revelado avances notables en la generación de tokens y los costes asociados. Recientemente, NVIDIA compartió información sobre su colaboración con diversas empresas para optimizar el rendimiento de Blackwell, que se ha multiplicado por diez en comparación con la generación Hopper anterior.
Proveedores líderes de servicios de inferencia como Baseten, DeepInfra, Fireworks AI y Together AI están aprovechando la plataforma NVIDIA Blackwell, logrando una reducción del coste por token hasta 10 veces superior a la de la plataforma NVIDIA Hopper. Estas empresas albergan sofisticados modelos de código abierto que han alcanzado inteligencia de vanguardia.
Al combinar la inteligencia de frontera de código abierto con el sólido diseño de hardware y software de NVIDIA Blackwell y las pilas de inferencia personalizadas, estos proveedores están facilitando importantes ahorros en costos de tokens para empresas de diversos sectores.
– NVIDIA
NVIDIA ha reconocido a organizaciones como Baseten, Sully.ai, DeepInfra y Latitude por su compromiso con la optimización de la tokenómica con Blackwell. Estas empresas se benefician de una latencia reducida, menores costos de inferencia y resultados confiables, lo que consolida a Blackwell como la pila tecnológica preferida para las empresas de IA contemporáneas. Cabe destacar que Sentient Labs informó haber logrado una rentabilidad entre un 25 % y un 50 % superior en comparación con la plataforma Hopper, especialmente en implementaciones de agentes de IA multiagente y especializados.
El éxito de la arquitectura Blackwell se atribuye a la innovadora estrategia de «codiseño extremo» de NVIDIA, especialmente compatible con las arquitecturas modernas de Mezcla de Expertos (MoE).El GB200 NVL72 emplea una configuración de 72 chips, complementada con 30 TB de memoria compartida de alta velocidad, lo que eleva el paralelismo experto a niveles sin precedentes. Esta arquitectura permite la división y distribución continua de lotes entre GPU, lo que resulta en un aumento no lineal del volumen de comunicación, un factor crucial para lograr una tokenómica óptima.
De cara al futuro, NVIDIA busca mejorar aún más la eficiencia de la infraestructura con su proyecto Vera Rubin, centrándose en innovaciones arquitectónicas y herramientas especializadas, como CPX para la función de precarga. Dada la rápida evolución de la tecnología de IA, es fundamental comprender que optimizar el hardware existente es tan vital como desarrollar nuevos sistemas.
Artículos relacionados:
Microsoft presenta el Modo Xbox para todos los PC con Windows 11, fusionando las experiencias de juego de consola y de escritorio.
20:22
Samsung pone fin a la producción de memoria LPDDR4 en medio de un aumento de beneficios de 50 veces y predice una creciente escasez de memoria para 2027.
19:08
Guía definitiva para el análisis y la optimización del rendimiento del PC con Windrose para una experiencia informática óptima.
18:19
Deja una respuesta