Umfassender Überblick über die HBM-Architektur der nächsten Generation: HBM4 bis HBM8 mit bis zu 64 TB/s Bandbreite, 240 GB Kapazität pro 24-Hi-Stack und integrierter Kühlung

Die Entwicklung der High Bandwidth Memory (HBM)-Standards hat mit HBM4 bis HBM8 bemerkenswerte Fortschritte gebracht und die Innovationen vorangetrieben, die erforderlich sind, um den steigenden Anforderungen an künstliche Intelligenz (KI) und Rechenzentrumsleistung gerecht zu werden.

Erweiterte HBM-Standards zielen darauf ab, die Anforderungen von KI und Rechenzentren zu erfüllen

Eine aktuelle Präsentation des Korea Advanced Institute of Science and Technology (KAIST) und Tera (Terabyte Interconnection and Package Laboratory) beleuchtete den ehrgeizigen Fahrplan für HBM-Technologien. Technologien wie HBM4, HBM5, HBM6, HBM7 und HBM8 stehen vor erheblichen Verbesserungen und versprechen Bandbreiten von bis zu 64 TB/s.

Beginnend mit HBM4 soll dieser Standard kommende KI-GPU-Initiativen und Rechenzentrumstechnologien unterstützen, deren Einführung für 2026 geplant ist. Bestätigungen namhafter Akteure wie AMD und NVIDIA bezüglich ihrer Integration von HBM in Produkte wie die Serien MI400 und Rubin unterstreichen seine Bedeutung.

NVIDIAs kommende GPU-Roadmap, die von den beteiligten Forschungsunternehmen detailliert beschrieben wird, liefert wichtige Erkenntnisse, insbesondere angesichts der Expertise von Tera in den Bereichen Interconnection und HBM-Packaging. HBM4-Speicher ist strategisch für NVIDIAs Rubin- und AMDs MI500-GPUs konzipiert.

NVIDIA Rubin und AMD MI500 GPUs: Ein genauerer Blick auf HBM4

Die Rubin-Serie von NVIDIA nutzt HBM4- und HBM4e-Technologien. Der Rubin verfügt über acht HBM4-Speicherplätze, der Rubin Ultra über 16. Jede Variante weist unterschiedliche Chipquerschnitte auf, wobei der Ultra die doppelte Rechendichte bietet.

Laut Analyse wird die Rubin-GPU eine Chipfläche von 728 mm² aufweisen und rund 800 Watt verbrauchen. Ihr Interposer misst 2194 mm² und unterstützt eine Speicherkapazität von 288 bis 384 GB. Er liefert eine beeindruckende Bandbreite von 16 bis 32 TB/s und einen Gesamtstrombedarf von rund 2200 Watt – fast doppelt so viel wie bei früheren Blackwell B200-GPUs.

Hauptmerkmale des HBM4-Standards

Datenrate: Ungefähr 8 Gbit/s
IO-Anzahl: 2048 (bis zu 4096)
Gesamtbandbreite: 2, 0 TB/s
Matrizenstapel: 12/16-Hi
Kapazität pro Chip: 24 GB
Kapazität pro HBM: Bis zu 36/48 GB
Leistung pro HBM-Paket: 75 W
Verpackungsmethode: Microbump (MR-MUF)
Kühlmethode: Direct-To-Chip (D2C)-Flüssigkeitskühlung
Benutzerdefinierte HBM-Basischiparchitektur
NMC-Prozessor + LPDDR im Basischip
Unterstützte Plattformen: NVIDIA Rubin & Instinct MI400

AMD legt mit seinem Instinct MI400 die Messlatte ebenfalls höher und bietet beachtliche 432 GB HBM4 sowie eine Bandbreitenkapazität von bis zu 19, 6 TB/s – ein deutlicher Sprung im Vergleich zu den Angeboten von NVIDIA.

Die Spezifikationen für HBM4 lauten: Die Technologie bietet eine Datenrate von 8 Gbit/s, 2048-Bit-E/A und eine Bandbreite von 2, 0 TB/s pro Stack sowie eine maximale Speicherkapazität von 48 GB. Das Netzteil verfügt über 75 Watt pro Stack und nutzt Flüssigkeitskühlung für optimale Leistung.

Fortschritte mit HBM5, HBM6, HBM7 und HBM8

Die Veröffentlichung von HBM5 ist für etwa 2029 geplant. Es wird erwartet, dass es eine Datenrate von 8 Gbit/s beibehält und gleichzeitig die IO-Lanes auf 4096 erweitert. Bei einer geschätzten Gesamtbandbreite von 4 TB/s wird dieser Standard 16-Hi-Stacks nutzen, die eine Kapazität von bis zu 80 GB bieten.

Hauptmerkmale des HBM5-Standards

Datenrate: 8 Gbit/s
IO-Anzahl: 4096
Gesamtbandbreite: 4, 0 TB/s
Chipstapel: 16-Hi
Kapazität pro Chip: 40 GB
Kapazität pro HBM: 80 GB
Leistung pro HBM-Paket: 100 W
Verpackungsmethode: Microbump (MR-MUF)
Kühlmethode: Immersionskühlung, Thermal Via (TTV)
Besondere Merkmale: Benutzerdefinierter HBM-Basischip mit 3D-NMC-HBM und gestapeltem Cache

NVIDIAs Feynman soll die erste GPU sein, die HBM5 nutzt. Der offizielle Erscheinungspreis soll im Jahr 2029 liegen, was eine entsprechende Produktionseinrichtung ermöglicht.

Die Feynman-GPU soll einen 750 mm² großen Chip mit einem Stromverbrauch von 900 W aufweisen und voraussichtlich vier GPUs mit 400 bis 500 GB HBM5-Speicher enthalten, wodurch eine Gesamt-Thermal Design Power (TDP) von 4400 W erreicht wird.

Innovationen der nächsten Generation mit HBM6 und darüber hinaus

Nach HBM5 folgt mit HBM6 der nächste Schritt, der voraussichtlich nach der Feynman-Architektur eingeführt wird. Diese Version soll eine deutliche Steigerung der Datenrate auf 16 Gbit/s und 4096-Bit-IO-Lanes ermöglichen und so erhebliche Verbesserungen bei Bandbreite und Speicherkapazität ermöglichen.

Hauptmerkmale des HBM6-Standards

Datenrate: 16 Gbit/s
IO-Anzahl: 4096
Gesamtbandbreite: 8, 0 TB/s
Chipstapel: bis zu 20-Hi
Kapazität pro Chip: 48 GB
Kapazität pro HBM: 96/120 GB
Leistung pro HBM-Paket: 120 W
Verpackungsmethode: Bump-freies Cu-Cu-Direktbonden
Kühlmethode: Immersionskühlung
Erweiterte Funktionen: Benutzerdefinierte Multi-Tower-HBM-Architektur

Mit HBM6 erwarten wir Verbesserungen bei Bandbreite und Energieeffizienz und ebnen damit den Weg für eine mögliche GPU-Verpackung von bis zu 6014 mm², was phänomenale Speicherbandbreiten und Kapazitätsmöglichkeiten bietet.

HBM7 und HBM8: Die Zukunft des Hochbandbreitenspeichers

Mit Blick auf die Zukunft werden HBM7 und HBM8 voraussichtlich die Speichertechnologie neu definieren. HBM7 könnte eine Datenrate von 24 Gbit/s und beeindruckende 8192 IO-Anzahl aufweisen und die Bandbreitenkapazität damit drastisch auf 24 TB/s erhöhen.

Hauptmerkmale des HBM7-Standards

Datenrate: 24 Gbit/s
IO-Anzahl: 8192
Gesamtbandbreite: 24, 0 TB/s
Matrizenstapel: 20/24-Hi
Kapazität pro Chip: 64 GB
Kapazität pro HBM: 160/192 GB
Leistung pro HBM-Paket: 160 W
Verpackungsmethode: Bump-Less Cu-Cu Direktbonden
Kühlmethode: Eingebettete Kühlung
Architektur: Hybride HBM-Architektur mit Pufferchips

Und schließlich wird HBM8 die Standards über unser derzeitiges Verständnis hinausheben und Datenraten von bis zu 32 Gbit/s mit verbesserter Kapazität versprechen. Die Veröffentlichung ist für etwa 2038 geplant. Mit Blick auf die Zukunft werden die Standards HBM7 und HBM8 eine Ära beispielloser Rechenleistung einläuten.

Innovative Kühllösungen treffen auf HBM-Architektur

Anpassungen wie die High-Bandwidth Flash (HBF)-Architektur zielen darauf ab, speicherintensive Anwendungen wie die Generierung großer Sprachmodelle zu optimieren. Diese Innovation nutzt fortschrittliche NAND-Konfigurationen und Verbindungsstrategien und ermöglicht eine nahtlose Integration mit HBM-Stacks für verbesserte Leistung.

Mit dem Übergang in ein Zeitalter datenintensiver Anwendungen bildet das komplexe Zusammenspiel innovativer Architektur und spezialisierter Kühllösungen das Rückgrat der nächsten Computing-Generation. Die Zukunft von HBM ist vielversprechend, bedeutende Entwicklungen sind in Sicht, und die kommenden Jahre bieten spannende Einblicke in die Entwicklung der Speichertechnologie.

Quelle & Bilder