In einer bemerkenswerten Kooperation bündeln Google und NVIDIA ihre Kräfte, um Nutzern Zugriff auf bis zu eine Million NVIDIA-GPUs zu ermöglichen. Diese Initiative ist Teil der Einführung der neuen A5X-Instanzen, die darauf abzielen, die Inferenzkosten zu senken und den Token-Durchsatz zu erhöhen. Das A5X-System integriert NVIDIAs fortschrittliche Netzwerkbeschleuniger und schafft damit die Grundlage für robuste Einzel- und Multi-Cluster-Computing-Infrastrukturen, die speziell für KI-Workloads entwickelt wurden.
Wir stellen die A5X-Instanz vor: Maßgeschneidert für Agentic AI
Die A5X-Instanz ist Googles neueste Entwicklung, speziell für agentenbasierte KI-Workloads konzipiert. Sie gehört zum wachsenden Portfolio von AI Hypercomputer, das die Gemini-Plattform von Google unterstützt und diverse KI-Anwendungen für Privat- und Geschäftskunden ermöglicht. Dieses neue Angebot geht einher mit bedeutenden Upgrades von Hypercomputer, darunter speziell entwickelte virtuelle Maschinen mit angepassten Arm-basierten CPUs, Tensor-Prozessoren der achten Generation, nativer PyTorch-TPU-Unterstützung und natürlich den innovativen A5X-Instanzen.
Die A5X-Instanzen wurden für die Bewältigung agentenbasierter KI-Szenarien entwickelt und nutzen eine Vielzahl von KI-Agenten, um komplexe Probleme mithilfe einer schrittweisen Methodik zu lösen. Bemerkenswert ist, dass diese Instanzen die ersten von Google sind, die mit NVIDIAs hochmodernen Vera Rubin KI-GPUs kompatibel sind.
Google Virgo & ConnectX-9: Skalierung der KI-Infrastruktur
Die A5X-Instanzen nutzen die Leistungsfähigkeit der NVIDIA ConnectX-9 Netzwerkkarten (NICs), die speziell für die Optimierung von KI-Workloads in Cloud-Umgebungen mit Ethernet entwickelt wurden. Diese technologische Synergie ermöglicht es Nutzern in Kombination mit Googles Virgo-Plattform, bis zu 80.000 Rubin-GPUs in einem einzelnen Cluster und beeindruckende 960.000 GPUs in Clustern mit mehreren Standorten bereitzustellen.
| Komponente | Maximaler Cluster in einem einzelnen Rechenzentrum | Max Multi-Site Cluster |
| NVIDIA Vera Rubin GPUs | 80.000 | 960.000 |
| Google Custom TPUs | 134.000 | Mehr als 1.000.000 |
| Netzwerk-Backbone | NVIDIA ConnectX-9 Netzwerkkarten | Google Virgo Plattform |
Erzielung eines hohen ROI: Dramatisch reduzierte Inferenzkosten und erhöhter Durchsatz
Die Google Virgo-Plattform ermöglicht eine beispiellose Vernetzung zahlreicher KI-Chips innerhalb eines einzigen Rechenzentrums. Diese robuste Infrastruktur arbeitet nicht nur mit NVIDIAs Vera Rubin GPUs zusammen, sondern integriert sich auch nahtlos in Googles Tensor Processing Units (TPUs).Virgo kann bis zu 134.000 TPUs in einem Rechenzentrum und über eine Million Chips an verschiedenen Standorten verbinden. NVIDIA gibt an, dass A5X-Instanzen die Inferenzkosten pro Token um das Zehnfache senken und gleichzeitig den Durchsatz pro Megawatt im Vergleich zu Vorgängermodellen verzehnfachen können.
NVIDIA hebt zudem die Zusammenarbeit mit Branchenführern wie Cadence und Siemens hervor und zeigt, wie deren Produkte auf dieser Infrastruktur basieren und über Google Cloud zugänglich sind. Darüber hinaus ist Googles Gemini-Plattform bereit, agentenbasierte Modelle und Workflows in verschiedenen Branchen, darunter auch der Cybersicherheit, einzusetzen.
Ähnliche Artikel:
Microsoft führt den Xbox-Modus für alle Windows 11-PCs ein und vereint damit Konsolen- und Desktop-Spielerlebnisse.
20:22
Samsung stellt die Produktion von LPDDR4-Speichern inmitten eines 50-fachen Gewinnanstiegs ein und prognostiziert zunehmende Speicherknappheit bis 2027.
19:08
Ultimativer Leitfaden zur Windrose-PC-Leistungsanalyse und -Optimierung für ein optimales PC-Erlebnis
18:19
Schreibe einen Kommentar