Kompleksowy przegląd architektury HBM nowej generacji: HBM4 do HBM8 z przepustowością do 64 TB/s, pojemnością 240 GB na stos 24-Hi i wbudowanym chłodzeniem

Ewolucja standardów pamięci o dużej przepustowości (HBM) przyniosła znaczące postępy od HBM4 do HBM8, co napędza innowacje niezbędne do zaspokojenia rosnących wymagań w zakresie sztucznej inteligencji (AI) i wydajności centrów danych.

Rozszerzanie standardów HBM ma na celu spełnienie wymagań AI i centrów danych

Niedawna prezentacja Korea Advanced Institute of Science and Technology (KAIST) i Tera (Terabyte Interconnection and Package Laboratory) rzuciła światło na ambitną mapę drogową dla technologii HBM. Dzięki technologiom takim jak HBM4, HBM5, HBM6, HBM7 i HBM8, przed nami są znaczne ulepszenia, obiecujące przepustowości sięgające do 64 TB/s.

Począwszy od HBM4, standard ten jest gotowy do obsługi nadchodzących inicjatyw w zakresie procesorów graficznych AI i technologii centrów danych, których wprowadzenie zaplanowano na 2026 r. Potwierdzenia od znanych graczy, takich jak AMD i NVIDIA, dotyczące integracji HBM z produktami, takimi jak serie MI400 i Rubin, podkreślają jego znaczenie.

Nadchodząca mapa drogowa GPU firmy NVIDIA, szczegółowo opisana przez zaangażowane firmy badawcze, dostarcza kluczowych spostrzeżeń, zwłaszcza biorąc pod uwagę doświadczenie Tera w zakresie połączeń i pakowania HBM. Pamięć HBM4 jest strategicznie zaprojektowana dla procesorów graficznych Rubin firmy NVIDIA i MI500 firmy AMD.

Procesory graficzne Rubin firmy NVIDIA i MI500 firmy AMD: bliższe spojrzenie na HBM4

Seria Rubin firmy NVIDIA ma wykorzystywać technologie HBM4 i HBM4e, przy czym Rubin ma osiem miejsc HBM4, podczas gdy Rubin Ultra ma 16 miejsc. Każda wersja ma inny przekrój matrycy, a Ultra zapewnia dwukrotnie większą gęstość obliczeniową.

Według analizy, Rubin GPU będzie miał powierzchnię matrycy 728 mm², zużywając około 800 W. Jego interposer mierzy 2194 mm² i obsługuje pojemność pamięci od 288 do 384 GB, zapewniając imponującą przepustowość od 16 do 32 TB/s, przy całkowitym zapotrzebowaniu na energię wynoszącym około 2200 W — prawie dwukrotnie więcej niż w poprzednich procesorach graficznych Blackwell B200.

Główne cechy standardu HBM4

Szybkość transmisji danych: około 8 Gbps
Liczba IO: 2048 (do 4096)
Całkowita przepustowość: 2, 0 TB/s
Stosy matryc: 12/16-Hi
Pojemność na kość: 24 Gb
Pojemność na HBM: do 36/48 GB
Moc na pakiet HBM: 75 W
Metoda pakowania: Microbump (MR-MUF)
Metoda chłodzenia: chłodzenie cieczą bezpośrednio do układu scalonego (D2C)
Niestandardowa architektura matrycy bazowej HBM
Procesor NMC + LPDDR w matrycy bazowej
Obsługiwane platformy: NVIDIA Rubin i Instinct MI400

AMD podnosi poprzeczkę również dzięki swojemu procesorowi Instinct MI400, wyposażonemu w aż 432 GB pamięci HBM4 i oferującemu przepustowość na poziomie 19, 6 TB/s — co stanowi znaczny skok w porównaniu z ofertą firmy NVIDIA.

Jeśli chodzi o specyfikacje dla HBM4, technologia ma zapewniać szybkość transmisji danych 8 Gbps, 2048-bitowe IO i przepustowość 2, 0 TB/s na stos, a także maksymalną pojemność pamięci 48 GB. Został zaprojektowany z pakietem mocy 75 W na stos i wykorzystuje chłodzenie cieczą dla optymalnej wydajności.

Udoskonalenia w modelach HBM5, HBM6, HBM7 i HBM8

Na horyzoncie planowana jest premiera HBM5 około 2029 roku. Oczekuje się, że utrzyma on szybkość transmisji danych 8 Gb/s, a jednocześnie rozszerzy linie IO do 4096. Przy całkowitej przepustowości szacowanej na 4 TB/s, ten standard będzie wykorzystywał stosy 16-Hi oferujące pojemność do 80 GB.

Główne cechy standardu HBM5

Szybkość transmisji danych: 8 Gbps
Liczba IO: 4096
Całkowita przepustowość: 4, 0 TB/s
Stosy kostek: 16-Hi
Pojemność na kość: 40 Gb
Pojemność na HBM: 80 GB
Moc na pakiet HBM: 100 W
Metoda pakowania: Microbump (MR-MUF)
Metoda chłodzenia: Chłodzenie zanurzeniowe, termiczne (TTV)
Cechy szczególne: niestandardowa podstawa HBM z 3D NMC-HBM i pamięcią podręczną w stosie

Prognozuje się, że Feynman firmy NVIDIA będzie pierwszym procesorem graficznym wykorzystującym technologię HBM5. Oficjalna cena premiery to 2029 rok, co pozwoli na odpowiednią konfigurację produkcyjną.

Według doniesień procesor graficzny Feynman będzie miał powierzchnię 750 mm² i pobór mocy 900 W. Oczekuje się, że będzie zawierał cztery procesory graficzne z pamięcią HBM5 o pojemności od 400 do 500 GB, co pozwoli osiągnąć całkowitą moc cieplną (TDP) na poziomie 4400 W.

Innowacje nowej generacji z HBM6 i nowszymi rozwiązaniami

Po HBM5, następny skok następuje wraz z HBM6, którego debiut spodziewany jest po architekturze Feynmana. Przewiduje się, że ta wersja wdroży znaczącą modernizację szybkości transmisji danych 16 Gbps wraz z 4096-bitowymi liniami IO, co umożliwi niezwykłe postępy w zakresie przepustowości i pojemności pamięci.

Główne cechy standardu HBM6

Szybkość transmisji danych: 16 Gbps
Liczba IO: 4096
Całkowita przepustowość: 8, 0 TB/s
Stosy matryc: do 20-Hi
Pojemność na kość: 48 Gb
Pojemność na HBM: 96/120 GB
Moc na pakiet HBM: 120 W
Metoda pakowania: bezpośrednie łączenie Cu-Cu bez uderzeń
Metoda chłodzenia: Chłodzenie zanurzeniowe
Zaawansowane funkcje: niestandardowa architektura HBM Multi-Tower

Dzięki pamięci HBM6 spodziewamy się zwiększenia przepustowości i efektywności energetycznej, co otwiera drogę do potencjalnych obudów procesorów graficznych o powierzchni nawet 6014 mm², co zapewni fenomenalną przepustowość pamięci i możliwości pojemnościowe.

HBM7 i HBM8: przyszłość pamięci o dużej przepustowości

Patrząc dalej w przyszłość, HBM7 i HBM8 mają na nowo zdefiniować technologię pamięci. HBM7 może pochwalić się szybkością transmisji danych 24 Gbps i imponującą liczbą 8192 IO, co znacznie zwiększy możliwości przepustowości do 24 TB/s.

Główne cechy standardu HBM7

Szybkość transmisji danych: 24 Gbps
Liczba IO: 8192
Całkowita przepustowość: 24, 0 TB/s
Stosy matryc: 20/24-Hi
Pojemność na kość: 64 Gb
Pojemność na HBM: 160/192 GB
Moc na pakiet HBM: 160 W
Metoda pakowania: bezpośrednie łączenie Cu-Cu bez wypukłości
Metoda chłodzenia: chłodzenie wbudowane
Architektura: Hybrydowa architektura HBM z matrycami buforowymi

Wreszcie HBM8 podniesie standardy ponad nasze obecne rozumienie, obiecując przepustowość danych sięgającą 32 Gb/s przy zwiększonej pojemności, której premiera planowana jest na około 2038 r. Patrząc w przyszłość, standardy HBM7 i HBM8 zapowiadają erę niespotykanych dotąd możliwości obliczeniowych.

Innowacyjne rozwiązania chłodnicze spotykają się z architekturą HBM

Adaptacje, takie jak architektura High-Bandwidth Flash (HBF), mają na celu optymalizację aplikacji intensywnie wykorzystujących pamięć, takich jak generowanie dużych modeli językowych. Ta innowacja wykorzystuje zaawansowane konfiguracje NAND i strategie połączeń, oferując bezproblemową integrację ze stosami HBM w celu zwiększenia wydajności.

W miarę jak przechodzimy do ery zdefiniowanej przez aplikacje intensywnie przetwarzające dane, skomplikowane współdziałanie innowacyjnej architektury i specjalistycznych rozwiązań chłodzących zapewni kręgosłup potrzebny do obliczeń nowej generacji. Przyszłość HBM wygląda obiecująco z widocznymi znaczącymi postępami, a nadchodzące lata zapewnią ekscytujący wgląd w ewolucję technologii pamięci.

Źródło i obrazy