La carte graphique NVIDIA HGX B200 de Super Micro Computer atteint plus de 3 fois le nombre de jetons par seconde pour les benchmarks Llama2-70b et Llama3.1-405b par rapport aux systèmes H200 à 8 GPU.

Veuillez noter que ce contenu ne constitue pas un conseil en investissement. L’auteur ne détient aucune position sur les actions présentées ici.

La résilience des supermicro-ordinateurs sur le marché technologique

Malgré les turbulences qui affectent le secteur technologique, Super Micro Computer (NASDAQ : SMCI) a réussi à bondir de 6 % cette année. Cette performance est remarquable, d’autant plus que les grandes entreprises sont confrontées à des difficultés dans le contexte économique actuel. Récemment, Goldman Sachs a reconnu SMCI comme l’action la plus performante du secteur du matériel informatique. Dans une nouvelle démonstration d’innovation, Super Micro a annoncé une avancée significative dans les capacités d’IA de ses systèmes équipés du GPU B200 de NVIDIA.

Annonce du leadership en matière de performance de l’IA

Super Micro présente désormais ses systèmes 4U refroidis par liquide et 10U refroidis par air comme étant les plus performants, affirmant qu’ils génèrent plus de trois fois plus de jetons par seconde (Token/s) pour les benchmarks Llama2-70B et Llama3.1-405B que les systèmes H200 à 8 GPU. Ce bond en avant en termes de performances témoigne de l’engagement de l’entreprise à faire progresser l’IA.

« Dans la marge opérationnelle, le système B200 refroidi par air de Supermicro a affiché le même niveau de performance que le système B200 refroidi par liquide.»

Technologies de refroidissement innovantes

Les derniers systèmes NVIDIA HGX B200 de Super Micro intègrent des technologies de refroidissement avancées, notamment de nouvelles plaques froides et un répartiteur de liquide de refroidissement de 250 kW. Cette conception innovante utilise des collecteurs de distribution verticaux, optimisant ainsi l’espace rack. Ainsi, il peut accueillir **huit systèmes** avec un total de **64 GPU NVIDIA Blackwell** dans un **rack 42U**, ou même **12 systèmes** avec **96 GPU NVIDIA Blackwell** dans un **rack 52U**.

Le nouveau système NVIDIA HGX B200 10U refroidi par air est doté d’un châssis repensé avec une marge thermique accrue pour accueillir huit GPU Blackwell de 1 000 W TDP. Jusqu’à quatre de ces nouveaux systèmes 10U refroidis par air peuvent être installés et entièrement intégrés dans un rack, avec la même densité que la génération précédente, tout en offrant des performances d’inférence jusqu’à 15 fois supérieures et des performances d’apprentissage jusqu’à 3 fois supérieures.

Comprendre la mesure de la hauteur du serveur

Pour ceux qui ne le savent pas, la mesure « U » fait référence à la hauteur du serveur, où 1U équivaut à 1, 75 pouces.

Le changement stratégique d’Apple

Dans un développement récent, Loop Capital a révélé qu’Apple fait son entrée sur le « marché des grands clusters de serveurs Gen AI ».Ce pivot stratégique fait suite aux récents défis, notamment autour de Siri, poussant l’entreprise vers les GPU commerciaux de NVIDIA.

« AAPL [Apple] est en train de passer des commandes pour environ 1, 0 milliard de dollars de GB300NVL72 (soit environ 250 serveurs à 3, 7 à 4, 0 millions de dollars chacun) comprenant à la fois SMCI [Super Micro Computer] et DELL.»

Cette commande importante marque un succès significatif pour Super Micro Computer et Dell, qui sont actuellement les principaux fournisseurs sur le marché en plein essor des racks de serveurs IA.

Source et images