La NVIDIA RTX PRO 6000 de 96 GB supera a cuatro RTX 5090 en un modelo de IA de 230 mil millones con solo un 25 % de consumo de energía.

La NVIDIA RTX PRO 6000 de 96 GB supera a cuatro RTX 5090 en un modelo de IA de 230 mil millones con solo un 25 % de consumo de energía.

La NVIDIA RTX Pro 6000 Blackwell demuestra que una sola GPU puede superar el rendimiento de las configuraciones multi-GPU tradicionales, especialmente al ejecutar modelos de IA complejos. Sorprendentemente, ha demostrado superar el rendimiento de cuatro RTX 5090.

Una sola GPU RTX PRO 6000 Blackwell ejecuta un modelo de IA de 230B utilizando una cuarta parte de la energía en comparación con cuatro RTX 5090.

La investigación realizada por Steveibe en X pone de manifiesto la viabilidad de operar grandes modelos de IA en entornos domésticos. Utilizando el MiniMax M2.7, un modelo de inferencia de IA con 230 mil millones de parámetros, las pruebas se llevaron a cabo en cuatro configuraciones con GPU de NVIDIA, con un tamaño de contexto de 32k y una longitud máxima de token de 4096.

Durante las pruebas de rendimiento, se empleó el método de cuantización IQ3_XXS de GGUF, compatible con configuraciones de VRAM más bajas. Esta cuantización específica se seleccionó por ser la que mejor aprovechaba los 96 GB de VRAM de la GPU RTX PRO 6000. A continuación se muestran los resultados de rendimiento de las distintas configuraciones:

  • 4x RTX 4090 (96 GB): 71, 52 tokens/segundo, TTFT 1045 ms
  • 4x RTX 5090 (128 GB): 120, 54 tokens/segundo, TTFT 725 ms
  • 1x RTX PRO 6000 (96 GB): 118, 74 tokens/segundo, TTFT 765 ms
  • DGX Spark (128 GB): 24, 41 tokens/segundo, TTFT 741 ms

La única GPU NVIDIA RTX PRO 6000 Blackwell alcanzó una velocidad notable de 118, 74 tokens/segundo, casi igualando el rendimiento de cuatro RTX 5090 a 120, 54 tokens/segundo. La configuración anterior de RTX 4090, compuesta por cuatro GPU, ofreció un rendimiento significativamente menor, de 71, 52 tokens/segundo. En contraste, el DGX Spark Mini AI PC, con 128 GB de memoria, se quedó atrás con 24, 41 tokens/segundo.

Gráfico comparativo del rendimiento de múltiples configuraciones de GPU en la velocidad de generación de tokens de IA

Si bien la velocidad de generación de tokens favorece a las tarjetas RTX PRO 6000 Blackwell y RTX 5090, es fundamental considerar otros factores como el consumo de energía y el costo.

Comparación del consumo de energía

Se observa una clara distinción al examinar el consumo de energía en estas configuraciones:

  • 4x RTX 4090: Consumo máximo de energía de 1800 W (450 W por GPU)
  • 4x RTX 5090: Consumo máximo de energía de 2300 W (575 W por GPU)
  • 1x RTX PRO 6000: Consumo máximo de energía de tan solo 600 W.
  • DGX Spark: Potencia total del sistema de 240 W.

Esto indica que la única RTX PRO 6000 consume solo una cuarta parte de la energía de la configuración cuádruple RTX 5090 y aproximadamente un tercio de la energía de las cuatro RTX 4090. La DGX Spark, a pesar de su menor capacidad de energía, funciona de manera eficiente como una solución de sistema completo.

Resumen de precios

En el aspecto financiero, el precio de estas GPU es muy elevado. La RTX PRO 6000 Blackwell tiene un precio aproximado de 9500 dólares, mientras que una sola RTX 5090 cuesta alrededor de 3500 dólares, lo que supone un total de 14 000 dólares por cuatro tarjetas. La DGX Spark se vende actualmente a 4699 dólares, tras un ajuste de precio.

  • Precio medio de venta al público de la RTX 4090: 3000 dólares (por GPU)
  • Precio medio de venta al público de la RTX 5090: 3500 dólares (por GPU)
  • Precio medio de venta al público de la RTX PRO 6000: 9500 dólares (por GPU)
  • Precio medio de venta al público del PC con IA DGX Spark: 4699 dólares.

Si bien el uso de múltiples GPU puede mejorar el rendimiento de los modelos de IA y aprovechar una mayor memoria, también puede generar una sobrecarga del sistema que afecta la eficiencia general. En cambio, la RTX PRO 6000 Blackwell, con su configuración de 96 GB, ofrece un rendimiento superior, proporcionando una solución más eficiente y rentable para cargas de trabajo de IA exigentes.

Fuente e imágenes

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *