Google wkracza w erę sztucznej inteligencji opartej na agentach dzięki zaawansowanemu hiperkomputerowi AI integrującemu procesory TPU ósmej generacji, NVIDIA Rubin i Axion

Google oficjalnie zaprezentowało swój przełomowy hiperkomputer AI podczas konferencji Cloud Next 26, rewolucjonizując infrastrukturę sztucznej inteligencji (AI) poprzez integrację układów TPUv8, procesorów graficznych NVIDIA Rubin i procesorów Axion. To ogłoszenie stanowi ważny kamień milowy w kształtowaniu przyszłości sztucznej inteligencji opartej na agentach.

Google Cloud Next 26: Hiperkomputer AI rewolucjonizuje agentową sztuczną inteligencję dzięki zaawansowanej technologii

Konwencjonalna era superkomputerów ustępuje miejsca nowemu paradygmatowi, w którym dominują hiperkomputery, łączące różnorodne opcje obliczeniowe, aby tworzyć adaptowalne i wydajne architektury sztucznej inteligencji. Hiperkomputer AI firmy Google reprezentuje tę ewolucję, zapewniając klientom niespotykaną dotąd elastyczność w zaspokajaniu ich potrzeb obliczeniowych.

Diagram zatytułowany „Hiperkomputer AI” składa się z trzech sekcji: „Elastyczna konsumpcja” z sekcjami „Orkiestracja”, „Zarządzanie klastrem” i „Modele konsumpcji”; „Otwarte oprogramowanie” z sekcjami „Struktury” i „Silniki wnioskowania”; oraz „Sprzęt specjalnego przeznaczenia” z sekcjami „Obliczenia”, „Magazynowanie” i „Sieci”.

Aby wykorzystać potencjał hiperkomputera AI, Google opracował architekturę zoptymalizowaną pod kątem wydajności. W swojej istocie hiperkomputer AI wykorzystuje najnowszą serię TPUv8, innowacyjne procesory Axion Cloud oraz zaawansowane procesory graficzne NVIDIA Rubin. Obejmuje to wprowadzenie na rynek ósmej generacji procesorów TPU firmy Google, dostępnych w dwóch różnych modelach: TPU 8t i TPU 8i.

Zoptymalizowany model TPU 8t dla ulepszonego treningu

Procesor TPU 8t został zaprojektowany jako potężny procesor szkoleniowy, radykalnie skracając czas wdrażania modeli pionierskich z miesięcy do zaledwie tygodni. Zapewnia najwyższą przepustowość obliczeniową, ulepszone możliwości pamięci współdzielonej i imponującą przepustowość między układami – a wszystko to w energooszczędnej konstrukcji. Najważniejsze cechy procesora TPU 8t to:

Ogromne możliwości skalowania: Pojedynczy superpod TPU 8t może skalować się do 9600 układów scalonych, oferując dwa petabajty współdzielonej pamięci o wysokiej przepustowości – oferując dwukrotnie większą przepustowość między układami scalonymi w porównaniu z poprzednikiem. Ta konfiguracja zapewnia do 121 eksaFLOPS mocy obliczeniowej, umożliwiając złożonym modelom wykorzystanie jednej, rozległej puli pamięci.
Maksymalizacja wykorzystania: Dzięki 10-krotnemu zwiększeniu szybkości dostępu do pamięci masowej oraz zoptymalizowanemu pobieraniu danych za pomocą technologii TPUDirect technologia TPU 8t poprawia wykorzystanie całego systemu.
Skalowalność niemal liniowa: integracja nowej sieci Virgo i zaawansowanego oprogramowania, takiego jak JAX, umożliwia TPU 8t ułatwienie skalowania niemal liniowego w przypadku klastrów logicznych zawierających do miliona układów.

TPU 8i: nowy punkt odniesienia w wnioskowaniu

Procesor TPU 8i został stworzony z myślą o zadaniach wnioskowania, oferując imponujące 288 GB pamięci HBM w połączeniu z 384 MB wbudowanej pamięci SRAM – trzykrotnie większą niż w poprzednich modelach. Architektura ta umożliwia ciągłą pracę modeli w całości na chipie. Kluczowe atrybuty TPU 8i to:

Wydajność dzięki technologii Axion: Ten model podwaja liczbę fizycznych hostów CPU na serwer i wykorzystuje niestandardowe procesory Axion oparte na architekturze Arm, stosując nierównomierną architekturę pamięci (NUMA) w celu zwiększenia wydajności.
Zoptymalizowany pod kątem modeli Mixture of Experts (MoE): TPU 8i charakteryzuje się zwiększoną przepustowością połączenia międzysieciowego (ICI) wynoszącą 19, 2 Tb/s i architekturą Boardfly, która znacząco zmniejsza średnicę sieci, gwarantując zintegrowaną funkcjonalność o niskim opóźnieniu.
Niższe opóźnienia: dzięki nowemu, wbudowanemu w układ scalony modułowi CAE (Collectives Acceleration Engine) TPU 8i zmniejsza opóźnienia, co znacząco zwiększa wydajność.

Dwa układy Google Cloud TPU v8i wyświetlane są na rozmytym tle, na którym widać wiele płytek drukowanych.

Tabela porównawcza funkcji

Funkcja	TPU 8t	TPU 8i
Podstawowe obciążenie pracą	Wstępne szkolenie na dużą skalę	Próbkowanie, serwowanie i rozumowanie
Topologia sieci	Torus 3D	Boardfly
Specjalistyczne funkcje układu scalonego	SparseCore (osadzenia) i silnik dekodera LLM	CAE (Collectives Acceleration Engine)
Pojemność HBM	216 GB	288 GB
Pamięć SRAM na chipie (Vmem)	128 MB	384 MB
Maksymalne FP4 PFLOP-y	12.6	10.1
Szerokość pasma HBM	6, 528 GB/s	8601 GB/s (~1, 3x TPU 8t)
Nagłówek procesora	Oś ramienia	Oś ramienia

Najważniejsze informacje o hiperkomputerze AI

Oto liczne atuty hiperkomputera AI firmy Google, które pokazują jego innowacyjne możliwości:

Procesor TPU 8t zoptymalizowano pod kątem szkolenia. Wykorzystuje on technologię Inter-Chip Interconnect (ICI) umożliwiającą skalowanie do 9600 układów TPU i 2 PB współdzielonej pamięci w jednym superpodzie. Dzięki temu uzyskuje on trzykrotnie większą moc przetwarzania niż jego poprzednik, a także zwiększoną efektywność energetyczną.
TPU 8i wykorzystuje nową topologię Boardfly umożliwiającą bezpośrednie połączenie 1152 modułów TPU, charakteryzującą się trzykrotnie większą pamięcią SRAM w porównaniu do wcześniejszych modeli, co przekłada się na obsługę większej ilości danych przechowywanych na chipie oraz wykorzystanie specjalistycznego CAE w celu zwiększenia wydajności.
Procesory graficzne NVIDIA odgrywają kluczową rolę w oferowanych akceleratorach AI, a Google jest jednym z pierwszych, którzy wprowadzili na rynek układ NVIDIA Vera Rubin NVL72, oprócz istniejących modeli opartych na układach Hoover i Blackwell.
Rozwiązanie Google Cloud Axion obejmuje instancje N4A Axion — wprowadzone na rynek w styczniu — które oferują o 100% lepszy stosunek ceny do wydajności w porównaniu z porównywalnymi instancjami x86.
Rozwiązanie Network-optimized Compute rozszerza się o nowe serie maszyn C4N i M4N, zaprojektowane z myślą o udoskonaleniu aplikacji intensywnie korzystających z sieci i zapewniające niemal czterokrotnie większą przepustowość na vCPU niż standardowe instancje.
Do istotnych innowacji w dziedzinie pamięci masowych zaliczają się udoskonalenia w zakresie Managed Lustre, umożliwiającego osiągnięcie przepustowości 10 TB na sekundę w celu przyspieszenia szkolenia, a także Rapid Storage, którego wydajność wzrosła z 6 TB/s do 15 TB/s, co usprawniło zadania związane z szkoleniem i wnioskowaniem.
Usprawnienia sieciowe obejmują sieć Virgo, zoptymalizowaną architekturę przeznaczoną do łączenia systemów NVIDIA Vera Rubin NVL72 lub superpodów TPU 8t w celu tworzenia rozległych superkomputerów, które usprawniają rozproszone szkolenie zaawansowanych modeli.

Do grona głównych klientów hiperkomputera Google AI należą takie duże przedsiębiorstwa, jak Departament Energii Stanów Zjednoczonych, Boston Dynamics, Citadel Securities, Thinking Machine Labs i Axia Energy.

Źródło i obrazy