Microsoft sviluppa toolkit per sfidare il dominio di NVIDIA CUDA e ridurre i costi di inferenza con le GPU AMD AI

Microsoft sviluppa toolkit per sfidare il dominio di NVIDIA CUDA e ridurre i costi di inferenza con le GPU AMD AI

Microsoft sta attivamente studiando come utilizzare il suo stack GPU AMD per attività di inferenza. Il colosso della tecnologia sta lavorando a toolkit che convertono efficacemente i modelli NVIDIA CUDA in codice compatibile con ROCm, segnando un cambiamento significativo nel panorama dell’intelligenza artificiale.

La crescente domanda di carichi di lavoro di inferenza alimenta l’interesse per i chip AI di AMD

NVIDIA ha mantenuto la sua leadership nel settore dell’intelligenza artificiale (IA) in gran parte grazie alla sua strategia “CUDA lock-in”.Questo approccio costringe i fornitori di servizi cloud (CSP) e le principali aziende di IA a utilizzare l’hardware NVIDIA per massimizzare l’efficacia del suo ecosistema software CUDA. Sebbene siano stati fatti tentativi di introdurre la compatibilità multipiattaforma, nessuno di essi ha trovato riscontro come soluzione mainstream. Recentemente, le analisi di un dipendente senior di Microsoft hanno rivelato che l’azienda ha sviluppato toolkit che consentono l’esecuzione di codice CUDA su GPU AMD traducendolo in un formato compatibile con ROCm.

Superare la roccaforte di CUDA rappresenta una sfida ardua, poiché l’ecosistema software è profondamente radicato nelle applicazioni di intelligenza artificiale a livello globale, compresi mercati come la Cina. Tuttavia, il toolkit sviluppato da Microsoft impiega potenzialmente metodi consolidati per la transizione da CUDA a ROCm. Una tecnica è l’implementazione di un livello di compatibilità runtime, che facilita la traduzione delle chiamate API CUDA in ROCm senza richiedere una riscrittura completa del codice sorgente. Un esempio significativo è lo strumento ZLUDA, che cattura le chiamate CUDA e le traduce in tempo reale per l’utilizzo con ROCm.

NVIDIA CUDA può ora essere eseguito direttamente sulle GPU RDNA di AMD utilizzando

Tuttavia, la natura relativamente immatura dello stack software ROCm presenta delle sfide. Alcune chiamate API all’interno di CUDA non dispongono di mapping corrispondenti nell’ecosistema AMD, il che potrebbe potenzialmente causare problemi di prestazioni, un fattore particolarmente critico nelle operazioni di data center di grandi dimensioni.È anche ipotizzabile che il toolkit possa fungere da soluzione completa per la migrazione al cloud, su misura per Azure, in grado di gestire istanze sia della piattaforma AMD che NVIDIA. Sebbene le conversioni su larga scala possano introdurre complicazioni, l’approccio di Microsoft allo sviluppo di questi toolkit sembra essere ancora nelle fasi iniziali.

La motivazione principale che spinge Microsoft a interessarsi alle conversioni software deriva dall’aumento dei requisiti dei carichi di lavoro di inferenza. L’azienda punta a migliorare l’efficienza dei costi all’interno delle sue operazioni, il che si allinea naturalmente con l’adozione dei chip AI di AMD come valida alternativa alle più costose GPU NVIDIA. Di conseguenza, facilitare la transizione dei modelli CUDA esistenti nel framework ROCm è destinato a rappresentare un progresso fondamentale per la strategia futura di Microsoft.

Fonte e immagini

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *