GoogleとNVIDIAは、画期的なコラボレーションにより、最大100万個のNVIDIA GPUをユーザーに提供する取り組みを開始しました。この取り組みは、推論コストの削減とトークンスループットの向上を目的とした新しいA5Xインスタンスのローンチの一環です。A5XシステムはNVIDIAの高度なネットワークアクセラレータを統合し、AIワークロード向けに特別に設計された堅牢なシングルクラスタおよびマルチクラスタコンピューティングインフラストラクチャの基盤を構築します。
A5Xインスタンスのご紹介：エージェントAI向けに最適化
A5Xインスタンスは、エージェント型人工知能ワークロード向けに特別に設計された、Googleの最新開発成果です。これは、さまざまな消費者向けおよび企業向けAIアプリケーションをサポートするGoogleのGeminiプラットフォームを支える、拡大を続けるAIハイパーコンピューターポートフォリオに属しています。この新しいサービスは、ハイパーコンピューターの大幅なアップグレードと同時に提供され、カスタムArmベースCPU、第8世代テンソルプロセッサ、ネイティブPyTorch TPUサポート、そしてもちろん革新的なA5Xインスタンスを搭載した、特別に設計された仮想マシンを特徴としています。
エージェント型AIシナリオに対応するように設計されたA5Xインスタンスは、複数のAIエージェントを活用し、複雑な問題を解決するために段階的な手法を採用しています。特筆すべきは、これらのインスタンスがNVIDIAの最先端Vera Rubin AI GPUに対応したGoogle初のインスタンスである点です。
Google VirgoとConnectX-9：AIインフラストラクチャのスケーリング
A5Xインスタンスは、イーサネットを利用するクラウド環境におけるAIワークロードの強化に特化したNVIDIAのConnectX-9ネットワークインターフェイスカード（NIC）の機能を活用します。この技術的な相乗効果は、GoogleのVirgoプラットフォームと組み合わせることで、単一クラスター内で最大8万個のRubin GPU、複数サイトクラスター全体では驚異的な96万個のGPUをデプロイすることを可能にします。
| 成分 | 最大単一データセンタークラスター | 最大マルチサイトクラスタ |
| NVIDIA Vera Rubin GPU | 80, 000 | 96万 |
| GoogleカスタムTPU | 134, 000 | 1, 000, 000以上 |
| ネットワークの基盤 | NVIDIA ConnectX-9 NIC | Google Virgoプラットフォーム |
投資対効果（ROI）の実現：推論コストの大幅削減とスループットの向上
Google Virgoプラットフォームは、単一のデータセンター内で多数のAIチップ間の前例のない接続性を実現します。この堅牢なインフラストラクチャは、NVIDIAのVera Rubin GPUと連携するだけでなく、Googleのテンソル処理ユニット（TPU）ともシームレスに統合されます。Virgoは、1つのデータセンターで最大134, 000個のTPUを、複数の拠点で100万個以上のチップを接続できます。特筆すべきは、NVIDIAがA5Xインスタンスは、以前のモデルと比較して、トークンあたりの推論コストを10分の1に削減しつつ、メガワットあたりのスループットを10倍に向上させることができると主張している点です。
さらにNVIDIAは、CadenceやSiemensといった業界リーダーとの協業を強調し、これらの企業の製品がこのインフラストラクチャによって支えられ、Google Cloud経由で利用可能であることを紹介しています。また、GoogleのGeminiプラットフォームは、サイバーセキュリティを含む幅広い分野で、エージェントモデルとワークフローを展開する準備が整っています。
コメントを残す