Enorme carenza di CPU nel segmento cloud, causata dall’impennata dell’IA agentiva

Enorme carenza di CPU nel segmento cloud, causata dall’impennata dell’IA agentiva

Il panorama delle catene di approvvigionamento tecnologiche sta attraversando un periodo di forte turbolenza, con GPU, memorie e ora anche CPU che si trovano ad affrontare gravi carenze, il tutto attribuibile alla crescente domanda di intelligenza artificiale agentica.

Amazon e i fornitori di servizi cloud esauriscono le CPU a causa dell’impennata della domanda di intelligenza artificiale agentiva.

L’ascesa fulminea dell’IA agentiva sta trasformando il settore tecnologico, creando serie sfide per i fornitori di servizi cloud e i produttori di semiconduttori, che faticano a soddisfare la crescente domanda. Mentre il settore è già alle prese con precedenti carenze di approvvigionamento, ora si trova ad affrontare una grave carenza di CPU, segnando un cambiamento significativo nella scarsità di risorse.

Secondo un report di Dylan Patel di Semianalysis, il collo di bottiglia per i fornitori di servizi cloud si è spostato dalle GPU alle CPU. Inizialmente, le GPU venivano utilizzate principalmente per attività di inferenza più semplici. Tuttavia, con la crescente complessità dei modelli di intelligenza artificiale e dei relativi requisiti, le CPU sono ora cruciali per operazioni critiche, tra cui le interazioni con i database e le simulazioni complesse, il che ha portato a un aumento vertiginoso della domanda di risorse CPU all’interno dei data center cloud.

Tradizionalmente, i server cloud operavano con un notevole squilibrio, spesso affidandosi a numerose GPU per ogni singola CPU. Ad esempio, una configurazione comune poteva prevedere otto GPU per una CPU. Tuttavia, questo rapporto si sta riducendo, poiché sia ​​le CPU che le GPU vengono ora utilizzate in modo più equo nelle applicazioni di intelligenza artificiale, come l’addestramento dell’apprendimento per rinforzo (RL) e l’inferenza agentiva.

Questo aumento della domanda ha innescato instabilità in piattaforme come GitHub, poiché gli utenti hanno iniziato a segnalare frequenti interruzioni del servizio e mancate conferme delle modifiche.

Sì, quindi abbiamo controllato le statistiche di GitHub, tipo quanto spesso è offline, quanto spesso non riesce a effettuare il commit, insomma, cose del genere, giusto? È terribile. E questo perché Microsoft ha venduto tutte le CPU che aveva in più ad altre persone, giusto? O per uso interno nei loro laboratori, ma, sai, non proprio, più che altro a laboratori esterni che hanno stretto accordi con Entropic e OpenAI.

E quindi non hanno praticamente più CPU disponibili, giusto? E abbiamo visto la stessa cosa in molte altre aziende, no? Mentre prima c’erano, che so, molti server GPU per ogni server CPU. E quindi, che so, 100 megawatt di GPU venivano gestiti da anche solo un megawatt o meno di CPU. Oggi, il rapporto si sta avvicinando molto, molto di più, sia per l’addestramento RL che per l’inferenza, l’inferenza agentiva. Quindi abbiamo visto tutti rimanere senza CPU. I volumi di CPU di Amazon.

Dylan Patel (Semianalisi)

La causa principale di questa crisi delle CPU sembra essere la domanda insostenibile che ha lasciato i fornitori di servizi cloud come Amazon e Microsoft completamente privi di CPU disponibili. Gli elevati tassi di consumo riflettono uno spostamento verso le aziende di intelligenza artificiale, come OpenAI ed Entropic, che hanno sfruttato le proprie relazioni per assicurarsi risorse CPU. Persino con gli ambiziosi piani di Amazon di triplicare annualmente l’offerta di server con CPU, l’azienda non riesce a tenere il passo con la domanda in continua crescita.

Inoltre, la transizione di OpenAI dall’architettura x86 all’architettura ARM, resa possibile dalla disponibilità delle CPU Amazon Graviton, ha aggravato la situazione. Questa migrazione ad ARM era stata pensata per sopperire alla carenza di CPU. Sfortunatamente, ha portato a un’intensificazione della domanda di chip ARM, in particolare da parte delle aziende di intelligenza artificiale che hanno modificato i propri codici per sfruttare queste risorse.

Le implicazioni per il settore tecnologico sono evidenti: si profila all’orizzonte una grave carenza di CPU. Sarà necessario l’intervento di diversi fornitori per incrementare la produzione e soddisfare questa domanda. La situazione interesserà non solo i chip ARM, ma anche i processori x86, con AMD e Intel che stanno esercitando pressione sulle proprie catene di approvvigionamento per supportare i fornitori di servizi cloud. Anche NVIDIA sta aumentando la produzione dei rack di CPU Vera, che comprendono più chip e una notevole capacità di DRAM. Questa attenzione all’intelligenza artificiale probabilmente distoglierà risorse dai mercati consumer e aziendali, con conseguente aumento dei prezzi e disponibilità limitata per il mercato generale.

Fonte e immagini

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *