La NVIDIA RTX PRO 6000 de 96 Go surpasse quatre RTX 5090 sur un modèle d’IA de 230 milliards d’itérations avec une consommation d’énergie réduite de seulement 25 %.

La NVIDIA RTX PRO 6000 de 96 Go surpasse quatre RTX 5090 sur un modèle d’IA de 230 milliards d’itérations avec une consommation d’énergie réduite de seulement 25 %.

La RTX Pro 6000 Blackwell de NVIDIA démontre qu’un seul GPU peut surpasser les configurations multi-GPU traditionnelles, notamment pour l’exécution de modèles d’IA complexes. Elle a même démontré des performances supérieures à celles de quatre RTX 5090.

Un seul GPU RTX PRO 6000 Blackwell exécute un modèle d’IA de 230 octets en consommant quatre fois moins d’énergie que quatre RTX 5090.

Une étude menée par Steveibe sur X démontre la faisabilité de l’exécution de grands modèles d’IA dans un environnement domestique. Les tests, réalisés avec le MiniMax M2.7 (un modèle d’inférence d’IA à 230 milliards de paramètres), ont été effectués sur quatre configurations équipées de GPU NVIDIA, avec une taille de contexte de 32 000 et une longueur maximale de jeton de 4 096.

Lors des tests de performance, la méthode de quantification GGUF IQ3_XXS, adaptée aux configurations avec une quantité de VRAM plus faible, a été utilisée. Ce choix s’explique par l’utilisation optimale des 96 Go de VRAM du GPU RTX PRO 6000. Vous trouverez ci-dessous les résultats des différentes configurations :

  • 4x RTX 4090 (96 Go) : 71, 52 jetons/seconde, TTFT 1045 ms
  • 4x RTX 5090 (128 Go) : 120, 54 jetons/seconde, TTFT 725 ms
  • 1x RTX PRO 6000 (96 Go) : 118, 74 jetons/seconde, TTFT 765 ms
  • DGX Spark (128 Go) : 24, 41 jetons/seconde, TTFT 741 ms

La carte graphique NVIDIA RTX PRO 6000 Blackwell a atteint une vitesse remarquable de 118, 74 jetons/seconde, rivalisant presque avec les performances de quatre RTX 5090 (120, 54 jetons/seconde).L’ancienne configuration RTX 4090, composée de quatre GPU, a affiché un rendement nettement inférieur de 71, 52 jetons/seconde.À l’inverse, le PC DGX Spark Mini AI, doté de 128 Go de mémoire, a accusé un retard de 24, 41 jetons/seconde.

Graphique comparatif des performances de plusieurs configurations GPU en termes de vitesse de génération de jetons IA

Bien que la vitesse de génération des jetons favorise les RTX PRO 6000 Blackwell et les RTX 5090, il est essentiel de prendre en compte des facteurs supplémentaires tels que la consommation d’énergie et le coût.

Comparaison de la consommation d’énergie

Une distinction nette apparaît lorsqu’on examine la consommation d’énergie de ces configurations :

  • 4x RTX 4090 : Consommation électrique maximale de 1 800 W (450 W par GPU)
  • 4x RTX 5090 : Consommation électrique maximale de 2 300 W (575 W par GPU)
  • 1 carte graphique RTX PRO 6000 : consommation électrique maximale de seulement 600 W
  • DGX Spark : Puissance totale du système de 240 W

Cela signifie que la RTX PRO 6000 consomme seulement un quart de l’énergie consommée par une configuration à quatre RTX 5090 et environ un tiers de celle consommée par quatre RTX 4090. La DGX Spark, malgré sa consommation énergétique inférieure, fonctionne efficacement comme solution système complète.

Aperçu des prix

Sur le plan financier, le prix de ces cartes graphiques est révélateur. La RTX PRO 6000 Blackwell coûte environ 9 500 $, tandis qu’une seule RTX 5090 coûte environ 3 500 $, soit un total de 14 000 $ pour quatre. La DGX Spark est actuellement vendue à 4 699 $, suite à un ajustement de prix.

  • Prix ​​de vente moyen d’une RTX 4090 : 3 000 $ (par GPU)
  • Prix ​​de vente moyen d’une RTX 5090 : 3 500 $ (par GPU)
  • Prix ​​de vente moyen d’une RTX PRO 6000 : 9 500 $ (par GPU)
  • Prix ​​de vente moyen du PC DGX Spark AI : 4 699 $

Bien que plusieurs GPU puissent améliorer les performances des modèles d’IA et tirer parti d’une mémoire plus importante, ils peuvent également engendrer une surcharge système qui affecte l’efficacité globale.À l’inverse, la RTX PRO 6000 Blackwell, avec sa configuration de 96 Go, offre des performances supérieures, constituant ainsi une solution plus efficace et économique pour les charges de travail d’IA exigeantes.

Source et images

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *