Panoramica completa dell’architettura HBM di nuova generazione: da HBM4 a HBM8 con larghezza di banda fino a 64 TB/s, capacità di 240 GB per stack 24-Hi e raffreddamento integrato

L’evoluzione degli standard High Bandwidth Memory (HBM) ha visto notevoli progressi con HBM4 fino a HBM8, promuovendo le innovazioni necessarie per soddisfare le crescenti richieste di intelligenza artificiale (IA) e prestazioni dei data center.

L’espansione degli standard HBM mira a soddisfare le esigenze dell’intelligenza artificiale e dei data center

Una recente presentazione del Korea Advanced Institute of Science and Technology (KAIST) e di Tera (Terabyte Interconnection and Package Laboratory) ha fatto luce sull’ambiziosa roadmap per le tecnologie HBM. Con tecnologie come HBM4, HBM5, HBM6, HBM7 e HBM8, sono previsti miglioramenti sostanziali, con larghezze di banda promettenti che raggiungono fino a 64 TB/s.

A partire da HBM4, questo standard è destinato a supportare le prossime iniziative GPU AI e le tecnologie per data center, il cui lancio è previsto per il 2026. Le conferme da parte di importanti player come AMD e NVIDIA in merito all’integrazione di HBM in prodotti come le serie MI400 e Rubin ne testimoniano l’importanza.

La prossima roadmap GPU di NVIDIA, dettagliata dalle società di ricerca coinvolte, fornisce spunti cruciali, soprattutto considerando l’esperienza di Tera nell’interconnessione e nel packaging HBM. La memoria HBM4 è progettata strategicamente per le GPU Rubin di NVIDIA e MI500 di AMD.

GPU Rubin di NVIDIA e MI500 di AMD: uno sguardo più da vicino a HBM4

La serie Rubin di NVIDIA è progettata per utilizzare le tecnologie HBM4 e HBM4e: la Rubin presenta otto siti HBM4, mentre la Rubin Ultra ne ha 16. Ogni variante presenta diverse sezioni trasversali del die, e la Ultra offre una densità di calcolo doppia.

Secondo l’analisi, la GPU Rubin avrà un die con un’area di 728 mm², con un consumo di circa 800 W. Il suo interposer misura 2194 mm² e supporta una capacità di memoria da 288 a 384 GB, offrendo un’impressionante larghezza di banda che va da 16 a 32 TB/s, con un fabbisogno energetico totale di circa 2200 W, quasi il doppio rispetto a quello delle precedenti GPU Blackwell B200.

Caratteristiche principali dello standard HBM4

Velocità dati: circa 8 Gbps
Conteggio IO: 2048 (fino a 4096)
Larghezza di banda totale: 2, 0 TB/s
Pile di matrici: 12/16-Hi
Capacità per die: 24 Gb
Capacità per HBM: fino a 36/48 GB
Potenza per pacchetto HBM: 75 W
Metodo di confezionamento: Microbump (MR-MUF)
Metodo di raffreddamento: raffreddamento a liquido diretto al chip (D2C)
Architettura di base HBM personalizzata
Processore NMC + LPDDR nel die base
Piattaforme supportate: NVIDIA Rubin e Instinct MI400

Anche AMD alza l’asticella con la sua Instinct MI400, dotata di ben 432 GB di HBM4 insieme a capacità di larghezza di banda che raggiungono i 19, 6 TB/s, un notevole balzo in avanti rispetto all’offerta di NVIDIA.

In termini di specifiche, HBM4 è progettata per offrire una velocità di trasmissione dati di 8 Gbps, IO a 2048 bit e una larghezza di banda di 2, 0 TB/s per stack, oltre a una capacità di memoria massima di 48 GB.È progettata con un pacchetto di potenza da 75 W per stack e utilizza il raffreddamento a liquido per prestazioni ottimali.

Progressi con HBM5, HBM6, HBM7 e HBM8

All’orizzonte, HBM5 dovrebbe essere rilasciato intorno al 2029 e dovrebbe mantenere una velocità di trasmissione dati di 8 Gbps, espandendo al contempo le linee di I/O a 4096. Con una larghezza di banda totale stimata a 4 TB/s, questo standard sfrutterà stack 16-Hi, offrendo una capacità fino a 80 GB.

Caratteristiche principali dello standard HBM5

Velocità dati: 8 Gbps
Conteggio IO: 4096
Larghezza di banda totale: 4, 0 TB/s
Pile di matrici: 16-Hi
Capacità per die: 40 Gb
Capacità per HBM: 80 GB
Potenza per pacchetto HBM: 100 W
Metodo di confezionamento: Microbump (MR-MUF)
Metodo di raffreddamento: raffreddamento a immersione, tramite termico (TTV)
Caratteristiche speciali: matrice di base HBM personalizzata con NMC-HBM 3D e cache impilata

Si prevede che Feynman di NVIDIA sarà la prima GPU a utilizzare HBM5, con un prezzo di lancio ufficiale previsto per il 2029, consentendo un’adeguata configurazione di produzione.

Secondo quanto riferito, la GPU Feynman sarà dotata di un die da 750 mm² con un consumo energetico di 900 W e si prevede che integrerà quattro GPU con da 400 a 500 GB di memoria HBM5, ottenendo un TDP (Thermal Design Power) totale di 4400 W.

Innovazioni di nuova generazione con HBM6 e oltre

Dopo HBM5, il salto successivo si verifica con HBM6, il cui debutto è previsto dopo l’architettura Feynman. Si prevede che questa versione implementerà un significativo upgrade della velocità di trasmissione dati a 16 Gbps insieme a canali di I/O a 4096 bit, consentendo notevoli progressi in termini di larghezza di banda e capacità di memoria.

Caratteristiche principali dello standard HBM6

Velocità dati: 16 Gbps
Conteggio IO: 4096
Larghezza di banda totale: 8, 0 TB/s
Stack di matrici: fino a 20-Hi
Capacità per die: 48 Gb
Capacità per HBM: 96/120 GB
Potenza per pacchetto HBM: 120 W
Metodo di confezionamento: saldatura diretta Cu-Cu senza urti
Metodo di raffreddamento: raffreddamento a immersione
Funzionalità avanzate: architettura HBM multi-torre personalizzata

Con HBM6 prevediamo miglioramenti sia in termini di larghezza di banda che di efficienza energetica, aprendo la strada a potenziali pacchetti GPU fino a 6014 mm², garantendo capacità e larghezza di banda di memoria fenomenali.

HBM7 e HBM8: il futuro della memoria ad alta larghezza di banda

Guardando al futuro, HBM7 e HBM8 sono destinati a ridefinire la tecnologia delle memorie. HBM7 potrebbe vantare una velocità di trasmissione dati di 24 Gbps e un impressionante numero di I/O pari a 8192, portando la larghezza di banda a 24 TB/s.

Caratteristiche principali dello standard HBM7

Velocità dati: 24 Gbps
Conteggio IO: 8192
Larghezza di banda totale: 24, 0 TB/s
Stack di matrici: 20/24-Hi
Capacità per die: 64 Gb
Capacità per HBM: 160/192 GB
Potenza per pacchetto HBM: 160 W
Metodo di confezionamento: saldatura diretta Cu-Cu senza urti
Metodo di raffreddamento: raffreddamento incorporato
Architettura: Architettura HBM ibrida con matrici buffer

Infine, HBM8 eleverà gli standard oltre la nostra attuale comprensione, promettendo velocità di trasmissione dati che raggiungono i 32 Gbps con capacità potenziata, il cui rilascio è previsto intorno al 2038. Guardando al futuro, gli standard HBM7 e HBM8 sono destinati a inaugurare un’era di capacità di elaborazione senza precedenti.

Le soluzioni di raffreddamento innovative incontrano l’architettura HBM

Adattamenti come l’architettura High-Bandwidth Flash (HBF) mirano a ottimizzare le applicazioni ad alta intensità di memoria, come la generazione di modelli linguistici di grandi dimensioni. Questa innovazione impiega configurazioni NAND e strategie di interconnessione avanzate, offrendo una perfetta integrazione con gli stack HBM per prestazioni migliorate.

Mentre ci avviamo verso un’era caratterizzata da applicazioni ad alta intensità di dati, la complessa interazione tra architettura innovativa e soluzioni di raffreddamento specializzate fornirà la struttura portante necessaria per l’elaborazione di prossima generazione. Il futuro dell’HBM appare promettente, con sviluppi sostanziali in vista, e i prossimi anni offriranno uno sguardo entusiasmante all’evoluzione della tecnologia delle memorie.

Fonte e immagini