Google enthüllt detaillierte Details zum TPU-Superpod „Ironwood“ der nächsten Generation: Mit 9216 Chips, 192 GB HBM-Speicher und 4614 TFLOPs Rechenleistung pro Chip

Während Hot Chips 2025 präsentierte Google seine revolutionäre TPU-Plattform der nächsten Generation namens Ironwood und betonte dabei ihre umfassende Skalierbarkeit auf Rack-Ebene.

Googles Ironwood: Ein Sprung nach vorn in der TPU-Technologie

Die Ironwood-Plattform, die die 7. TPU-Generation repräsentiert, wurde erstmals im April 2023 vorgestellt. Google gab bekannt, dass diese Architektur eine außergewöhnliche 24-fache Leistungssteigerung im Vergleich zu den derzeit führenden Supercomputern verspricht. In seiner Präsentation „Hot Chips 2025“ gab Google einen Überblick über die Entwicklung und Weiterentwicklung seiner TPUs im Laufe der Jahre.

Vergleich der TPU-Systeme: Leistungs- und Kapazitätsübersicht für TPU v4, v5p und Ironwood für 2022–2025.

Im Jahr 2022 brachte Google die TPU v4 auf den Markt, die 4096 Chips in einem einzigen Pod vereinte, dazu 32 GB High-Bandwidth Memory (HBM) mit 1, 2 TB/s und 275 TFLOPs Rechenleistung pro Chip. Im darauffolgenden Jahr wurde die TPU v5p eingeführt, die 8960 Chips, 95 GB HBM-Speicher mit 2, 8 TB/s und beeindruckende 459 TFLOPs pro Chip umfasste. In diesem Jahr soll der Ironwood TPU Superpod diese Spezifikationen noch weiter verbessern und 9216 Chips pro Pod bieten, ausgestattet mit 192 GB HBM-Speicher mit 7, 4 TB/s und unglaublichen 4614 TFLOPs Spitzenleistung pro Chip – eine 16-fache Verbesserung gegenüber der TPU v4.

Diagramm der Netzwerkarchitektur von Ironwood Superpod und Max-Scale Cluster.

Google hat sich eingehender mit der Architektur des Ironwood Superpod und des Max-Scale-Clusters befasst. Kernstück dieser Architektur ist das Ironwood System-on-Chip (SoC), bei dem vier Chips in jedes Ironwood PCBA-Motherboard integriert sind, die gemeinsam in ein Ironwood TPU-Rack passen. Jedes Rack enthält 16 Ironwood PCBAs, was einer beeindruckenden Konfiguration mit 64 Chips entspricht.

Diagramm der Rack-Subsysteme im Rechenzentrum mit beschrifteten Komponenten wie Fach, Kabeln und Netzteilen.

Die Netzwerklösung für die Interkonnektivität nutzt Googles InterChip Interconnect (ICI)-Technologie, die für die Skalierung von Netzwerken entwickelt wurde. Dieses Setup kann bis zu 43 Cluster (mit jeweils einem Block aus 64 Chips) über Superpods hinweg verbinden, was durch eine beträchtliche Netzwerkkapazität von 1, 8 Petabyte ermöglicht wird. Der interne Datenaustausch erfolgt über verschiedene Netzwerkschnittstellenkarten (NICs).

Der Superpod von Google besteht aus mehreren Racks, insbesondere dem Ironwood Superpod mit 144 Racks. Zusätzlich umfasst die Architektur ein optisches Switch-Chassis zur Verbesserung der Konnektivität zwischen den Blöcken, ergänzt durch ein Rack mit Kühlmittelverteilungseinheit (CBU).

Diagramm der Superpod-Rack-Suite mit Ironwood SoC, TPU, OCS und CDU für Netzwerk und Kühlung.

Das Design der Racks basiert auf einem 3D-Torus-Layout, das in den letzten drei TPU-Generationen konsequent beibehalten wurde. Jede Strukturkomponente besteht aus einem 4x4x4 3D-Netzwerk mit insgesamt 64 Chips oder Knoten, die in einem einzigen Rack untergebracht sind.

Google TPU-Rack mit 4x4x4 ICI-Blockdiagramm, detaillierten Kabeln und Anschlüssen.

Die Interkonnektivitätsstrategie von Google verwendet ein Hybridmodell, das Leiterplatten (PCB-Platten), passive Kupferverbindungen und Glasfaserverbindungen kombiniert, um eine flexible Systemkonfiguration zu gewährleisten.

Rack mit ICI-Glasfaserbündeln und Diagramm für das Layout des vorinstallierten Glasfasersystems

Kühlinfrastruktur und Layoutdiagramm für Rechenzentren für optimale Effizienz

Diagramm zur Veranschaulichung der TPU-SoC-Energieverwaltung und Rack-Capping in Rechenzentren.

Diagramm mit Rack-Energiemodi: Basis-TDP, hohe TDP und Aktivierungsdetails für die Drosselungsperiode von 120 Sekunden.

Herausforderungen und Chancen bei der Skalierung von ML-Racks und -Infrastruktur.

2 von 9

Der obere Bereich jedes Racks ist mit einer Auffangwanne ausgestattet, um mögliche Flüssigkeitslecks aus dem Verteiler zu überwachen. Darunter befindet sich das Stromversorgungssystem mit zwei Leistungsbereichen, die 416 Volt Wechselspannung durch Gleichrichtung in Gleichspannung umwandeln können. Das Design von Ironwood verfügt über ein Flüssigkeitskühlsystem, sodass ein einzelnes Rack unter Volllast über 100 kW Leistung liefern kann. Dies schließt die Erkenntnisse zum Ironwood TPU ab.

Quelle & Bilder