구글과 엔비디아가 놀라운 협력을 통해 최대 백만 개의 엔비디아 GPU를 사용자에게 제공합니다.이 계획은 추론 비용을 절감하고 토큰 처리량을 향상시키는 것을 목표로 하는 새로운 A5X 인스턴스 출시의 일환입니다. A5X 시스템은 엔비디아의 고급 네트워크 가속기를 통합하여 AI 워크로드에 특화된 강력한 단일 및 멀티 클러스터 컴퓨팅 인프라를 구축합니다.
에이전트형 AI에 최적화된 A5X 인스턴스를 소개합니다.
A5X 인스턴스는 에이전트형 인공지능 워크로드에 특화된 구글의 최신 개발 제품입니다.이는 다양한 소비자 및 기업용 AI 애플리케이션을 지원하는 구글의 제미니 플랫폼을 뒷받침하는 AI 하이퍼컴퓨터 포트폴리오의 일부입니다.이번 신제품 출시와 함께 하이퍼컴퓨터는 맞춤형 Arm 기반 CPU, 8세대 텐서 프로세서, 네이티브 PyTorch TPU 지원, 그리고 혁신적인 A5X 인스턴스를 포함한 특수 설계 가상 머신을 특징으로 하는 대폭적인 업그레이드를 거쳤습니다.
에이전트 기반 AI 시나리오를 처리하도록 설계된 A5X 인스턴스는 AI 에이전트들의 집합체를 활용하여 복잡한 문제를 해결하기 위한 단계적 접근 방식을 구현합니다.특히, 이 인스턴스는 구글이 NVIDIA의 최첨단 Vera Rubin AI GPU와 호환되도록 설계한 최초의 인스턴스입니다.
Google Virgo 및 ConnectX-9: AI 인프라 확장
A5X 인스턴스는 이더넷을 활용하는 클라우드 환경에서 AI 워크로드를 향상시키도록 설계된 NVIDIA의 ConnectX-9 네트워크 인터페이스 카드(NIC)의 기능을 활용합니다.이러한 기술적 시너지 효과는 Google의 Virgo 플랫폼과 결합되어 사용자가 단일 클러스터에 최대 80, 000개의 Rubin GPU를, 여러 사이트에 걸쳐 구성된 클러스터에는 무려 960, 000개의 GPU를 배포할 수 있도록 지원합니다.
| 요소 | 최대 단일 데이터 센터 클러스터 | 맥스 멀티사이트 클러스터 |
| NVIDIA Vera Rubin GPU | 8만 | 960, 000 |
| 구글 커스텀 TPU | 134, 000 | 1, 000, 000+ |
| 네트워킹 백본 | NVIDIA ConnectX-9 NIC | 구글 버고 플랫폼 |
투자 수익률(ROI) 달성: 추론 비용의 획기적 절감 및 처리량 향상
Google Virgo 플랫폼은 단일 데이터 센터 내에서 수많은 AI 칩 간의 전례 없는 연결성을 제공합니다.이 강력한 인프라는 NVIDIA의 Vera Rubin GPU와 함께 작동할 뿐만 아니라 Google의 텐서 처리 장치(TPU)와도 완벽하게 통합됩니다. Virgo는 하나의 데이터 센터에서 최대 134, 000개의 TPU를 연결할 수 있으며, 여러 위치에 걸쳐 백만 개 이상의 칩을 연결할 수 있습니다.특히 NVIDIA는 A5X 인스턴스가 이전 모델 대비 토큰당 추론 비용을 10분의 1로 줄이는 동시에 메가와트당 처리량을 10배 향상시킬 수 있다고 주장합니다.
또한 NVIDIA는 Cadence 및 Siemens와 같은 업계 선두 기업과의 협력을 강조하며, 이러한 인프라를 기반으로 하는 제품과 Google Cloud를 통해 액세스할 수 있는 방법을 소개합니다.나아가 Google의 Gemini 플랫폼은 사이버 보안을 포함한 다양한 분야에 걸쳐 에이전트 모델 및 워크플로우를 배포할 준비가 되어 있습니다.
답글 남기기