NVIDIA HGX B200 di Super Micro Computer raggiunge oltre 3 volte i token al secondo per i benchmark Llama2-70b e Llama3.1-405b rispetto ai sistemi H200 a 8 GPU

Si prega di notare che questo contenuto non costituisce un consiglio di investimento. L’autore non detiene posizioni nei titoli azionari qui discussi.

La resilienza di Super Micro Computer nel mercato tecnologico

Nonostante la turbolenza che ha colpito il settore tecnologico, Super Micro Computer (NASDAQ: SMCI) è riuscita a crescere del 6% quest’anno. Questa performance è degna di nota, soprattutto perché le grandi aziende affrontano sfide nell’attuale panorama economico. Di recente, Goldman Sachs ha riconosciuto SMCI come il “titolo con le migliori prestazioni” nella categoria hardware. In un’ulteriore dimostrazione di innovazione, Super Micro ha annunciato un significativo progresso nelle capacità AI dei suoi sistemi basati sulla GPU B200 di NVIDIA.

Annuncio di leadership nelle prestazioni dell’IA

Super Micro sta ora celebrando i suoi “sistemi 4U raffreddati a liquido e 10U raffreddati ad aria” come outperformer, sostenendo che generano oltre tre volte più token al secondo (Token/s) per i benchmark Llama2-70B e Llama3.1-405B rispetto ai sistemi H200 8-GPU. Questo balzo in avanti nelle prestazioni è una testimonianza dell’impegno dell’azienda nel far progredire la tecnologia AI.

“Entro il margine operativo, il sistema B200 raffreddato ad aria Supermicro ha mostrato lo stesso livello di prestazioni del sistema B200 raffreddato a liquido.”

Tecnologie di raffreddamento innovative

Gli ultimi sistemi NVIDIA HGX B200 di Super Micro sono progettati con tecnologie di raffreddamento avanzate, tra cui piastre fredde di nuova progettazione e un’unità di distribuzione del refrigerante da 250 kW. Questo design innovativo impiega collettori di distribuzione del refrigerante verticali, massimizzando l’efficienza dello spazio rack. Di conseguenza, può ospitare **otto sistemi** con un totale di **64 GPU NVIDIA Blackwell** in un **rack 42U**, o persino **12 sistemi** con **96 GPU NVIDIA Blackwell** in un **rack 52U**.

“Il nuovo sistema NVIDIA HGX B200 10U raffreddato ad aria è dotato di uno chassis riprogettato con headroom termico ampliato per ospitare otto GPU Blackwell TDP da 1000 W.È possibile installare e integrare completamente in un rack fino a 4 dei nuovi sistemi 10U raffreddati ad aria, con la stessa densità della generazione precedente, offrendo al contempo prestazioni di inferenza fino a 15 volte superiori e prestazioni di training fino a 3 volte superiori.”

Informazioni sulla misurazione dell’altezza del server

Per chi non lo sapesse, la misura “U” si riferisce all’altezza del server, dove 1U equivale a 1, 75 pollici.

Il cambiamento strategico di Apple

In un recente sviluppo, Loop Capital ha rivelato che Apple sta facendo il suo ingresso nel “mercato dei grandi cluster di server Gen AI”.Questa svolta strategica arriva in risposta alle recenti sfide, in particolare quelle che circondano Siri, che spingono l’azienda verso le GPU commerciali di NVIDIA.

“AAPL [Apple] è in procinto di piazzare ordini per circa 1 miliardo di dollari di GB300NVL72 (o circa 250 server a 3, 7 milioni di dollari – 4 milioni di dollari ciascuno) composti sia da SMCI [Super Micro Computer] che da DELL.”

Questo ordine importante segna un successo significativo sia per Super Micro Computer che per Dell, che attualmente sono fornitori leader nel fiorente mercato dei rack per server AI.

Fonte e immagini