Présentation complète de l’architecture HBM de nouvelle génération : HBM4 à HBM8 avec une bande passante allant jusqu’à 64 To/s, une capacité de 240 Go par pile 24 Hi et un refroidissement intégré

L’évolution des normes de mémoire à large bande passante (HBM) a connu des avancées remarquables avec HBM4 à HBM8, conduisant aux innovations nécessaires pour répondre aux demandes croissantes d’intelligence artificielle (IA) et de performances des centres de données.

L’élargissement des normes HBM vise à répondre aux exigences de l’IA et des centres de données

Une récente présentation de l’Institut coréen des sciences et technologies avancées (KAIST) et de Tera (Terabyte Interconnection and Package Laboratory) a mis en lumière l’ambitieuse feuille de route des technologies HBM. Avec des technologies telles que HBM4, HBM5, HBM6, HBM7 et HBM8, des améliorations substantielles sont à venir, promettant des débits allant jusqu’à 64 To/s.

À partir de HBM4, cette norme est prête à prendre en charge les prochaines initiatives GPU IA et les technologies de centre de données dont le lancement est prévu en 2026. Les confirmations d’acteurs notables comme AMD et NVIDIA concernant leur intégration de HBM dans des produits comme les séries MI400 et Rubin signifient son importance.

La prochaine feuille de route des GPU de NVIDIA, détaillée par les cabinets d’études concernés, fournit des informations cruciales, notamment grâce à l’expertise de Tera en matière d’interconnexion et de packaging HBM. La mémoire HBM4 est stratégiquement conçue pour les GPU Rubin de NVIDIA et MI500 d’AMD.

GPU Rubin de NVIDIA et MI500 d’AMD : un aperçu plus approfondi du HBM4

La série Rubin de NVIDIA exploitera les technologies HBM4 et HBM4e. Le modèle Rubin est doté de huit sites HBM4, tandis que le modèle Ultra en compte 16. Chaque variante présente des sections de puce différentes, l’Ultra offrant une densité de calcul deux fois supérieure.

Selon les analyses, le GPU Rubin disposera d’une surface de puce de 728 mm² et consommera environ 800 W. Son interposeur mesure 2 194 mm² et prend en charge une capacité mémoire de 288 à 384 Go, offrant une bande passante impressionnante allant de 16 à 32 To/s, pour une consommation totale d’environ 2 200 W, soit près du double de celle des précédents GPU Blackwell B200.

Principales caractéristiques de la norme HBM4

Débit de données : environ 8 Gbit/s
Nombre d’E/S : 2 048 (jusqu’à 4 096)
Bande passante totale : 2, 0 To/s
Piles de matrices : 12/16-Hi
Capacité par matrice : 24 Go
Capacité par HBM : jusqu’à 36/48 Go
Puissance par package HBM : 75 W
Méthode d’emballage : Microbump (MR-MUF)
Méthode de refroidissement : refroidissement liquide direct sur puce (D2C)
Architecture de matrice de base HBM personnalisée
Processeur NMC + LPDDR dans la matrice de base
Plateformes prises en charge : NVIDIA Rubin et Instinct MI400

AMD place également la barre plus haut avec son Instinct MI400, doté d’une capacité substantielle de 432 Go de HBM4 ainsi que de capacités de bande passante atteignant 19, 6 To/s, un bond notable par rapport aux offres de NVIDIA.

Les spécifications de la technologie HBM4 prévoient un débit de données de 8 Gbit/s, des E/S de 2 048 bits et une bande passante de 2, 0 To/s par pile, ainsi qu’une capacité mémoire maximale de 48 Go. Elle est conçue avec une puissance de 75 W par pile et utilise un refroidissement liquide pour des performances optimales.

Progrès avec HBM5, HBM6, HBM7 et HBM8

À l’horizon, HBM5 vise une sortie vers 2029 et devrait maintenir un débit de données de 8 Gbps tout en étendant les voies d’E/S à 4096. Avec une bande passante totale estimée à 4 To/s, cette norme exploitera des piles 16-Hi offrant une capacité allant jusqu’à 80 Go.

Principales caractéristiques de la norme HBM5

Débit de données : 8 Gbit/s
Nombre d’E/S : 4 096
Bande passante totale : 4, 0 To/s
Piles de dés : 16-Hi
Capacité par matrice : 40 Go
Capacité par HBM : 80 Go
Puissance par package HBM : 100 W
Méthode d’emballage : Microbump (MR-MUF)
Méthode de refroidissement : refroidissement par immersion, via thermique (TTV)
Caractéristiques spéciales : matrice de base HBM personnalisée avec NMC-HBM 3D et cache empilé

Le Feynman de NVIDIA devrait être le premier GPU à utiliser HBM5, avec un objectif de prix de sortie officiel de 2029, permettant une configuration de production adéquate.

Le GPU Feynman comporterait une matrice de 750 mm² avec une consommation électrique de 900 W, et il est prévu d’intégrer quatre GPU avec 400 à 500 Go de mémoire HBM5, atteignant une puissance de conception thermique totale (TDP) de 4 400 W.

Innovations de nouvelle génération avec HBM6 et au-delà

Après HBM5, la prochaine étape est franchie avec HBM6, dont le lancement est prévu après l’architecture Feynman. Cette version devrait offrir une amélioration significative des débits de données de 16 Gbit/s et des voies d’E/S de 4 096 bits, permettant des avancées remarquables en termes de bande passante et de capacités mémoire.

Principales caractéristiques de la norme HBM6

Débit de données : 16 Gbit/s
Nombre d’E/S : 4 096
Bande passante totale : 8, 0 To/s
Piles de dés : jusqu’à 20 Hi
Capacité par matrice : 48 Go
Capacité par HBM : 96/120 Go
Puissance par package HBM : 120 W
Méthode d’emballage : Liaison directe Cu-Cu sans bosses
Méthode de refroidissement : refroidissement par immersion
Fonctionnalités avancées : architecture HBM multi-tours personnalisée

Avec HBM6, nous prévoyons des gains en termes de bande passante et d’efficacité énergétique, ouvrant la voie à un packaging GPU potentiel allant jusqu’à 6014 mm², offrant des capacités de bande passante et de capacité mémoire phénoménales.

HBM7 et HBM8 : l’avenir de la mémoire à large bande passante

À plus long terme, HBM7 et HBM8 devraient révolutionner la technologie mémoire. HBM7 pourrait se targuer d’un débit de données de 24 Gbit/s et d’un nombre impressionnant d’E/S de 8 192, portant ainsi la bande passante à 24 To/s.

Principales caractéristiques de la norme HBM7

Débit de données : 24 Gbit/s
Nombre d’E/S : 8 192
Bande passante totale : 24, 0 To/s
Piles de matrices : 20/24-Hi
Capacité par matrice : 64 Go
Capacité par HBM : 160/192 Go
Puissance par package HBM : 160 W
Méthode d’emballage : Liaison directe Cu-Cu sans bosses
Méthode de refroidissement : refroidissement intégré
Architecture : Architecture hybride HBM avec matrices tampons

Enfin, HBM8 élèvera les normes au-delà de notre compréhension actuelle, promettant des débits de données atteignant 32 Gbps avec une capacité améliorée, dont la sortie est prévue vers 2038.À l’avenir, les normes HBM7 et HBM8 sont sur le point d’inaugurer une ère de capacités informatiques sans précédent.

Des solutions de refroidissement innovantes conformes à l’architecture HBM

Des adaptations, comme l’architecture Flash à haut débit (HBF), visent à optimiser les applications gourmandes en mémoire, comme la génération de modèles de langage volumineux. Cette innovation utilise des configurations NAND et des stratégies d’interconnexion avancées, offrant une intégration transparente avec les piles HBM pour des performances accrues.

Alors que nous entrons dans une ère marquée par les applications gourmandes en données, l’interaction complexe d’une architecture innovante et de solutions de refroidissement spécialisées constituera l’ossature nécessaire à l’informatique de nouvelle génération. L’avenir d’HBM s’annonce prometteur, avec des développements substantiels en vue, et les années à venir offriront un aperçu passionnant de l’évolution des technologies mémoire.

Source et images