I chip di inferenza di Groq superano i Blackwell di NVIDIA di 5 volte in termini di efficienza dei costi e offrono risultati due volte più velocemente.

I chip di inferenza di Groq superano i Blackwell di NVIDIA di 5 volte in termini di efficienza dei costi e offrono risultati due volte più velocemente.

Il panorama del calcolo per l’intelligenza artificiale (IA) si sta evolvendo rapidamente, secondo quanto emerso da una discussione con AlphaSense, condotta da un esperto di Nebius, fornitore leader di infrastrutture di calcolo. Con l’espansione delle capacità di calcolo per l’IA, NVIDIA continua a dominare il settore con le sue unità di elaborazione grafica (GPU) avanzate. Tuttavia, stanno emergendo alternative, soprattutto in un contesto di mercato in cui i modelli di prezzo stanno cambiando.

Proliferano le alternative ai chip NVIDIA in un contesto di metriche di costo in continua evoluzione.

Le dinamiche di prezzo nel settore delle infrastrutture per l’intelligenza artificiale sono influenzate dal tipo di GPU utilizzata e dalla modalità di utilizzo: se la capacità viene prenotata in anticipo o richiesta su richiesta. Ad esempio, le GPU H100 di NVIDIA hanno un costo di 2, 95 dollari all’ora per la capacità su richiesta, mentre la più recente variante H200 costa 3, 50 dollari all’ora. Le ultime Blackwell B200 hanno un prezzo compreso tra 4, 90 e 6, 50 dollari all’ora.

Al contrario, quando le organizzazioni optano per la capacità riservata con un contratto di durata da uno a due anni, con un impegno di almeno 10.000 GPU, i costi si riducono significativamente. In questo caso, i prezzi si stabilizzano a 1, 50 dollari l’ora per le H100, 2, 20 dollari per le H200 e un minimo di 3, 50 dollari per le B200. Questa drastica riduzione dei costi sottolinea i vantaggi strategici dei contratti a lungo termine nella gestione delle spese operative.

GPU NVIDIA H200

Il cambiamento aziendale: l’inferenza e l’ascesa della tariffazione basata su token

In uno sviluppo significativo, NVIDIA ha stipulato un accordo di licenza fondamentale con Groq alla fine del 2025, il più grande accordo mai concluso fino ad oggi e che rafforza la sua attenzione alla tecnologia di inferenza AI. Secondo le analisi degli esperti di Nebius, l’inferenza rappresenta ora una percentuale impressionante, tra il 90% e il 95%, di tutte le richieste di elaborazione dati aziendali. Questo cambiamento riflette la crescente tendenza delle organizzazioni a sfruttare modelli pre-addestrati e API anziché sviluppare software proprietario.

Inoltre, questa transizione dall’addestramento all’inferenza richiede una rivalutazione completa delle strutture dei costi nell’infrastruttura di IA. L’esperto ha sottolineato che questo scenario in evoluzione non è semplicemente una tendenza, ma rappresenta un cambiamento fondamentale nel modo in cui le aziende valutano e impiegano le proprie risorse di calcolo.

Costo per milione di token: analisi comparativa di NVIDIA e Groq

Con il passaggio delle aziende a questa nuova struttura di costi, la determinazione del prezzo per token, in particolare per milione di token, è diventata sempre più diffusa. Sorprendentemente, i chip di Groq rappresentano un’opzione più economica, con un costo compreso tra cinque e dieci centesimi per milione di token. Al contrario, le offerte di NVIDIA, come B100, B200 o B300, hanno un prezzo notevolmente superiore, pari a 25 centesimi per milione di token.

Oltre all’efficienza in termini di costi, i chip di Groq superano le alternative di NVIDIA anche in termini di velocità, con una capacità di elaborazione fino a 800 token al secondo, quasi il doppio dei 450 token al secondo offerti dalle GPU di NVIDIA. Questa combinazione di convenienza e prestazioni posiziona Groq in modo competitivo sul mercato.

metrico NVIDIA (Blackwell B200) Groq LPU
Costo (per 1 milione di token) $0, 25 $0, 10 (60% più economico)
Velocità di trasmissione (token/sec) 450 800 (77% più veloce)
Carico di lavoro principale Addestramento pesante / Impresa Inferenza ad alta velocità

Per ulteriori dettagli, fare riferimento alla fonte originale.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *