Raja Koduri entra a far parte del comitato consultivo di SanDisk per la memoria flash ad alta larghezza di banda per raggiungere una capacità da 8 a 16 volte superiore per le GPU AI a 4 TB, a un costo contenuto rispetto a HBM

Raja Koduri entra a far parte del comitato consultivo di SanDisk per la memoria flash ad alta larghezza di banda per raggiungere una capacità da 8 a 16 volte superiore per le GPU AI a 4 TB, a un costo contenuto rispetto a HBM

Raja Koduri ha assunto un ruolo chiave in SanDisk, con l’obiettivo di guidare lo sviluppo della memoria Flash ad alta larghezza di banda (HBF).Questa innovazione è progettata per migliorare le capacità dell’intelligenza artificiale (IA) affrontando i limiti della tradizionale memoria ad alta larghezza di banda (HBM), che spesso si scontra con limiti di capacità.

Nomina strategica di Raja Koduri nel comitato consultivo per le memorie HBF di SanDisk

L’ex Chief Architect di Intel, Raja Koduri, ritiratosi dalla divisione grafica del colosso tecnologico nel 2023, si dedica ora all’aumento della capacità di VRAM nelle GPU AI. Il suo recente annuncio di entrare a far parte del Comitato Consultivo Tecnico di SanDisk evidenzia il suo impegno nel progresso della tecnologia di memoria HBF, che promette miglioramenti significativi nella capacità di memoria per le GPU AI di prossima generazione.

La collaborazione di Raja con SanDisk è degna di nota grazie alla sua vasta esperienza nello sviluppo di GPU e architetture computazionali. Questa sinergia si allinea perfettamente con l’obiettivo di SanDisk di sviluppare la tecnologia HBF che superi gli svantaggi intrinseci dell’HBM.

Diagramma dello stack Flash ad alta larghezza di banda che migliora la memoria HBM con flash NAND per carichi di lavoro di intelligenza artificiale.
Lo stack HBF può offrire una capacità di memoria notevolmente maggiore, mantenendo la stessa larghezza di banda dell’HBM.

Quando abbiamo avviato lo sviluppo di HBM, il nostro obiettivo era migliorare il rapporto larghezza di banda/watt e larghezza di banda/mm² (entrambi vincoli importanti per la telefonia mobile), mantenendo al contempo una capacità competitiva con le soluzioni esistenti. Con HBF, l’obiettivo è aumentare significativamente la capacità di memoria (per dollaro, per watt e per mm²) garantendo al contempo una larghezza di banda competitiva.

Raja Koduri

Nonostante i rapidi progressi nell’HBM, che ha offerto con successo grandi capacità di memoria per superchip incentrati sull’intelligenza artificiale, l’HBF ha il potenziale per aumentare esponenzialmente le capacità di memoria utilizzando la tecnologia Through-Silicon Vias. Un singolo stack HBF può consentire una capacità di memoria a livello di terabyte e l’integrazione di otto di tali stack in un sistema può consentire alle GPU per l’intelligenza artificiale di raggiungere fino a 4 TB di VRAM, mantenendo al contempo le caratteristiche di elevata larghezza di banda offerte dall’HBM. Questo sviluppo è fondamentale per soddisfare le crescenti esigenze delle applicazioni di intelligenza artificiale.

È fondamentale comprendere che la tecnologia HBF di SanDisk non competerà direttamente con la DRAM in attività sensibili alla latenza.È invece progettata per soddisfare i requisiti di memoria delle operazioni di intelligenza artificiale, come l’inferenza e l’addestramento di modelli su larga scala, che privilegiano capacità e larghezza di banda rispetto alla latenza. Il ruolo strategico di Raja sarà determinante nel progresso di questa soluzione di memoria ad alta capacità.

Confronto tra le capacità di memoria delle GPU HBM e HBF.Rappresentazione visiva delle capacità di memoria della GPU: 192 GB di HBM contro 4.096 GB di HBF.Esecuzione di Frontier LLM con HBF: parametri 1.8T, pesi a 16 bit e 3.600 GB di memoria per GPU.

Poiché SanDisk mira a far diventare HBF un framework standard aperto, si prevede che questa iniziativa ne favorirà un’adozione diffusa in tutto il settore. La straordinaria rete di contatti e l’esperienza di Raja nella creazione di ecosistemi saranno preziose per migliorare le collaborazioni con i produttori di GPU.

HBF è destinato a rivoluzionare l’intelligenza artificiale edge dotando i dispositivi di capacità di memoria e larghezza di banda tali da supportare modelli sofisticati eseguiti localmente in tempo reale. Questo progresso aprirà una nuova era di applicazioni edge intelligenti, cambiando radicalmente il modo e il luogo in cui viene eseguita l’inferenza dell’IA.

– Raja Koduri

Per maggiori dettagli, visita il comunicato ufficiale di SanDisk.

Fonte e immagini

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *