Googles Trillium TPUs: Eine neue Ära der KI-Beschleunigung
Vor einem Jahrzehnt begann Google mit der Entwicklung maßgeschneiderter KI-Beschleuniger, die als Tensor Processing Units (TPUs) bekannt sind. Anfang 2023 stellte der Technologieriese seine TPU der sechsten Generation namens Trillium vor, die neue Maßstäbe in puncto Leistung und Effizienz setzt und frühere Modelle übertrifft. Heute gab Google bekannt, dass Trillium-TPUs nun für Google Cloud-Kunden allgemein zugänglich sind, und gab gleichzeitig bekannt, dass diese leistungsstarken TPUs maßgeblich zum Training ihres neuesten Modells, Gemini 2.0, beigetragen haben.
Einbruch in das Ökosystem der KI-Entwickler
Nvidias GPUs sind bei KI-Entwicklern zur bevorzugten Wahl geworden, nicht nur aufgrund ihrer außergewöhnlichen Hardware, sondern auch aufgrund der robusten Softwareunterstützung. Um eine ähnliche Begeisterung für Trillium-TPUs zu fördern, hat Google sein Software-Framework erheblich verbessert. Dazu gehören Optimierungen des XLA-Compilers sowie beliebter KI-Frameworks wie JAX, PyTorch und TensorFlow, sodass Entwickler die Kosteneffizienz beim Training, Tuning und Einsatz von KI maximieren können.
Wichtige Verbesserungen bei Trillium-TPUs
Trillium TPUs bieten gegenüber der vorherigen Generation eine Reihe wesentlicher Verbesserungen, darunter:
- Die Trainingsleistung wurde um mehr als das Vierfache gesteigert
- Bis zu 3x höherer Inferenzdurchsatz
- Energieeffizienz um 67 % gesteigert
- Maximale Rechenleistung pro Chip um beeindruckendes 4,7-fache erhöht
- Verdoppelung der Kapazität des High Bandwidth Memory (HBM)
- Auch die Bandbreite von Interchip Interconnect (ICI) wurde verdoppelt
- Möglichkeit, 100.000 Trillium-Chips in einer einheitlichen Jupiter-Netzwerkstruktur einzusetzen
- Die Trainingsleistung pro Dollar verbesserte sich um das bis zu 2,5-Fache und die Inferenzleistung um das bis zu 1,4-Fache
Skalierbarkeit und Verfügbarkeit
Laut Google können Trillium TPUs mit einem Setup aus 12 Pods mit jeweils 3.072 Chips eine beeindruckende Skalierungseffizienz von 99 % und mit 24 Pods mit jeweils 6.144 Chips eine Effizienz von 94 % erreichen. Damit eignen sie sich für das Vortraining großer Modelle wie GPT-3 mit 175 Milliarden Parametern.
Derzeit ist Trillium für den Einsatz in wichtigen Regionen verfügbar, darunter Nordamerika (USA Ost), Europa (West) und Asien (Nordosten). Für Benutzer, die an einer Evaluierung interessiert sind, beginnen die Kosten bei 2,7000 USD pro Chipstunde. Darüber hinaus gibt es bei längerfristigen Verpflichtungen reduzierte Tarife von 1,8900 USD pro Chipstunde für ein Jahr und 1,2200 USD pro Chipstunde für eine dreijährige Verpflichtung.
Abschluss
Mit seiner Skalierbarkeit und den erweiterten Softwarefunktionen stellt Trillium einen wesentlichen Fortschritt in der Cloud-KI-Infrastrukturstrategie von Google dar und positioniert das Unternehmen als ernsthaften Konkurrenten auf dem sich entwickelnden Markt der KI-Beschleuniger.
Ähnliche Artikel:
Australien verlangt von Tech-Giganten, lokale Medienverlage für Nachrichteninhalte zu entschädigen
7:35
Neueste Google Pixel 9a-Leaks enthüllen vollständige Spezifikationen und Preise
5:19
Gemini Deep Research AI Tool: Komplexe Themen analysieren und mühelos Berichte erstellen
18:47
Schreibe einen Kommentar