Descripción general completa de la arquitectura HBM de próxima generación: HBM4 a HBM8 con hasta 64 TB/s de ancho de banda, 240 GB de capacidad por pila de 24 Hi y refrigeración integrada

La evolución de los estándares de memoria de alto ancho de banda (HBM) ha experimentado avances notables con HBM4 a HBM8, impulsando las innovaciones necesarias para satisfacer las crecientes demandas de inteligencia artificial (IA) y rendimiento del centro de datos.

La expansión de los estándares de HBM busca satisfacer las demandas de la IA y los centros de datos

Una presentación reciente del Instituto Coreano de Ciencia y Tecnología Avanzada (KAIST) y Tera (Laboratorio de Interconexión y Paquetes de Terabytes) aclaró la ambiciosa hoja de ruta para las tecnologías HBM. Con tecnologías como HBM4, HBM5, HBM6, HBM7 y HBM8, se avecinan mejoras sustanciales, con la promesa de alcanzar anchos de banda de hasta 64 TB/s.

A partir de HBM4, este estándar está listo para respaldar las próximas iniciativas de GPU de IA y tecnologías de centros de datos programadas para su lanzamiento en 2026. Las confirmaciones de actores destacados como AMD y NVIDIA con respecto a su integración de HBM en productos como las series MI400 y Rubin indican su importancia.

La próxima hoja de ruta de GPU de NVIDIA, detallada por las firmas de investigación involucradas, proporciona información crucial, especialmente dada la experiencia de Tera en interconexión y empaquetado HBM. La memoria HBM4 está diseñada estratégicamente para las GPU Rubin de NVIDIA y MI500 de AMD.

GPU Rubin de NVIDIA y MI500 de AMD: Un análisis más detallado de HBM4

La serie Rubin de NVIDIA está diseñada para utilizar las tecnologías HBM4 y HBM4e. El Rubin cuenta con ocho sitios HBM4, mientras que el Rubin Ultra cuenta con 16 sitios. Cada variante presenta diferentes secciones transversales de matriz, y el Ultra ofrece el doble de densidad de cómputo.

Según el análisis, la GPU Rubin tendrá un área de matriz de 728 mm² y un consumo aproximado de 800 W. Su intercalador mide 2194 mm² y admite una capacidad de memoria de 288 a 384 GB, lo que proporciona un impresionante ancho de banda de entre 16 y 32 TB/s, con un consumo total de energía de aproximadamente 2200 W, casi el doble que el de las GPU Blackwell B200 anteriores.

Características principales del estándar HBM4

Velocidad de datos: aproximadamente 8 Gbps
Recuento de E/S: 2048 (hasta 4096)
Ancho de banda total: 2, 0 TB/s
Pilas de matrices: 12/16-Hi
Capacidad por matriz: 24 Gb
Capacidad por HBM: hasta 36/48 GB
Potencia por paquete HBM: 75 W
Método de embalaje: Microbump (MR-MUF)
Método de enfriamiento: Refrigeración líquida directa al chip (D2C)
Arquitectura de matriz base HBM personalizada
Procesador NMC + LPDDR en matriz base
Plataformas compatibles: NVIDIA Rubin e Instinct MI400

AMD también está subiendo el listón con su Instinct MI400, que incorpora unos sustanciales 432 GB de HBM4 junto con capacidades de ancho de banda que alcanzan los 19, 6 TB/s, un salto notable más allá de las ofertas de NVIDIA.

En cuanto a las especificaciones de HBM4, la tecnología ofrece una velocidad de datos de 8 Gbps, E/S de 2048 bits y un ancho de banda de 2, 0 TB/s por pila, además de una capacidad máxima de memoria de 48 GB. Está diseñado con un paquete de alimentación de 75 W por pila y utiliza refrigeración líquida para un rendimiento óptimo.

Avances con HBM5, HBM6, HBM7 y HBM8

En el horizonte, HBM5 apunta a un lanzamiento alrededor de 2029 y se espera que mantenga una velocidad de datos de 8 Gbps mientras expande los carriles de E/S a 4096. Con un ancho de banda total estimado en 4 TB/s, este estándar aprovechará pilas de 16 Hi que ofrecen una capacidad de hasta 80 GB.

Características principales del estándar HBM5

Velocidad de datos: 8 Gbps
Recuento de E/S: 4096
Ancho de banda total: 4, 0 TB/s
Pilas de matrices: 16-Hi
Capacidad por matriz: 40 Gb
Capacidad por HBM: 80 GB
Potencia por paquete HBM: 100 W
Método de embalaje: Microbump (MR-MUF)
Método de enfriamiento: Enfriamiento por inmersión, vía térmica (TTV)
Características especiales: matriz base HBM personalizada con NMC-HBM 3D y caché apilada

Se proyecta que Feynman de NVIDIA sea la primera GPU en utilizar HBM5, con un precio de lanzamiento oficial previsto para 2029, lo que permitirá una configuración de producción adecuada.

Según se informa, la GPU Feynman contará con una matriz de 750 mm² con un consumo de energía de 900 W, y se anticipa que incluirá cuatro GPU con 400 a 500 GB de memoria HBM5, logrando una potencia de diseño térmico (TDP) total de 4400 W.

Innovaciones de próxima generación con HBM6 y más allá

Tras HBM5, el siguiente paso es HBM6, cuyo lanzamiento está previsto tras la arquitectura Feynman. Se prevé que esta versión implemente una mejora significativa de 16 Gbps en la velocidad de datos, junto con líneas de E/S de 4096 bits, lo que permitirá avances notables en el ancho de banda y la capacidad de memoria.

Características principales del estándar HBM6

Velocidad de datos: 16 Gbps
Recuento de E/S: 4096
Ancho de banda total: 8, 0 TB/s
Pilas de matrices: hasta 20-Hi
Capacidad por matriz: 48 Gb
Capacidad por HBM: 96/120 GB
Potencia por paquete HBM: 120 W
Método de empaquetado: Unión directa Cu-Cu sin protuberancias
Método de enfriamiento: enfriamiento por inmersión
Funciones avanzadas: Arquitectura HBM multitorre personalizada

Con HBM6, esperamos ganancias tanto en ancho de banda como en eficiencia energética, allanando el camino para un posible empaquetado de GPU de hasta 6014 mm², brindando capacidades fenomenales de ancho de banda de memoria y capacidad.

HBM7 y HBM8: El futuro de la memoria de gran ancho de banda

A futuro, se prevé que HBM7 y HBM8 redefinan la tecnología de memoria. HBM7 podría alcanzar una velocidad de datos de 24 Gbps y una impresionante capacidad de 8192 E/S, lo que eleva drásticamente las capacidades de ancho de banda a 24 TB/s.

Características principales del estándar HBM7

Velocidad de datos: 24 Gbps
Recuento de E/S: 8192
Ancho de banda total: 24, 0 TB/s
Pilas de matrices: 20/24-Hi
Capacidad por matriz: 64 GB
Capacidad por HBM: 160/192 GB
Potencia por paquete HBM: 160 W
Método de empaquetado: Unión directa Cu-Cu sin protuberancias
Método de enfriamiento: enfriamiento integrado
Arquitectura: Arquitectura HBM híbrida con matrices Buffer

Finalmente, HBM8 elevará los estándares más allá de nuestra comprensión actual, prometiendo velocidades de datos que alcanzan los 32 Gbps con capacidad mejorada, cuyo lanzamiento está previsto para alrededor de 2038. De cara al futuro, los estándares HBM7 y HBM8 están preparados para marcar el comienzo de una era de capacidades informáticas sin precedentes.

Soluciones de refrigeración innovadoras que se adaptan a la arquitectura HBM

Adaptaciones como la arquitectura Flash de Alto Ancho de Banda (HBF) buscan optimizar aplicaciones con uso intensivo de memoria, como la generación de modelos de lenguaje de gran tamaño. Esta innovación emplea configuraciones NAND avanzadas y estrategias de interconexión, ofreciendo una integración fluida con las pilas HBM para un rendimiento mejorado.

A medida que nos adentramos en una era marcada por las aplicaciones con uso intensivo de datos, la compleja interacción entre arquitecturas innovadoras y soluciones de refrigeración especializadas constituirá la base necesaria para la informática de próxima generación. El futuro de HBM se presenta prometedor, con importantes avances a la vista, y los próximos años ofrecerán un emocionante vistazo a la evolución de la tecnología de memoria.

Fuente e imágenes