NVIDIA riduce i costi dei token di 10 volte con la nuova piattaforma Blackwell grazie alla strategia di co-progettazione estrema del Team Green

L’ultima piattaforma Blackwell di NVIDIA ha stabilito un nuovo punto di riferimento nell’ottimizzazione dei token per l’inferenza dell’IA, segnando un traguardo significativo nel campo della tokenomics.

Il GB200 NVL72 di NVIDIA supera Hopper con una tokenomics 10 volte migliorata, nota per il parallelismo “di livello esperto”

Nel frenetico panorama della tecnologia AI, NVIDIA ha dato priorità al miglioramento dell’efficienza del suo hardware. Con l’introduzione di modelli di AI di frontiera addestrati da Blackwell, sono emersi notevoli progressi nell’output di token e nei costi associati. Di recente, NVIDIA ha condiviso informazioni sulla sua collaborazione con diverse aziende per migliorare le prestazioni di Blackwell, vantando un miglioramento di dieci volte rispetto alla precedente generazione di Hopper.

I principali fornitori di servizi di inferenza come Baseten, DeepInfra, Fireworks AI e Together AI stanno sfruttando la piattaforma NVIDIA Blackwell, ottenendo una riduzione del costo per token fino a 10 volte rispetto alla piattaforma NVIDIA Hopper. Queste aziende ospitano sofisticati modelli open source che hanno raggiunto livelli di intelligenza di frontiera.

Unendo l’intelligence di frontiera open source con la solida progettazione congiunta hardware-software e gli stack di inferenza personalizzati di NVIDIA Blackwell, questi fornitori stanno agevolando notevoli risparmi sui costi simbolici per le aziende di diversi settori.

– NVIDIA

NVIDIA ha premiato organizzazioni come Baseten, Sully.ai, DeepInfra e Latitude per il loro impegno nell’ottimizzazione della tokenomics con Blackwell. Queste aziende beneficiano di latenza ridotta, costi di inferenza inferiori e output affidabili, affermando Blackwell come lo stack tecnologico preferito dalle aziende di intelligenza artificiale contemporanee. In particolare, Sentient Labs ha segnalato di aver ottenuto un “25-50% di efficienza in termini di costi” rispetto alla piattaforma Hopper, in particolare nelle distribuzioni di agenti IA multi-agente e specializzati.

L'immagine mostra un confronto tra i costi del sistema e i costi associati a ciascun token utilizzando diagrammi — Crediti immagine: NVIDIA

Il successo dell’architettura Blackwell può essere attribuito all’innovativa strategia di “co-design estremo” di NVIDIA, particolarmente compatibile con le moderne architetture Mixture of Experts (MoE).Il GB200 NVL72 impiega una configurazione a 72 chip integrata da 30 TB di memoria condivisa ad alta velocità, portando così il parallelismo degli esperti a livelli senza precedenti. Questa architettura consente la suddivisione e la distribuzione continua dei batch tra le GPU, con conseguente aumento non lineare del volume di comunicazione, un fattore cruciale per ottenere una tokenomica ottimale.

Guardando al futuro, NVIDIA punta a migliorare ulteriormente l’efficienza dell’infrastruttura con il suo progetto Vera Rubin, concentrandosi su innovazioni architetturali e strumenti specializzati, come CPX per la funzionalità di pre-compilazione. Data la rapida evoluzione della tecnologia AI, è fondamentale comprendere che l’ottimizzazione dell’hardware esistente è fondamentale tanto quanto lo sviluppo di nuovi sistemi.

Fonte e immagini