Google의 Trillium TPU: AI 가속의 새로운 시대
10년 전, Google은 Tensor Processing Unit(TPU)이라고 알려진 맞춤형 AI 가속기를 만드는 여정을 시작했습니다. 2023년 초, 이 기술 거대 기업은 성능과 효율성 모두에서 새로운 벤치마크를 설정하여 이전 모델을 능가하는 Trillium이라는 6세대 TPU를 공개했습니다. 오늘 Google은 Trillium TPU가 이제 Google Cloud 고객이 보편적으로 액세스할 수 있다고 발표하면서 동시에 이 강력한 TPU가 최신 모델인 Gemini 2.0을 훈련하는 데 중요한 역할을 했다는 사실을 밝혔습니다.
AI 개발자 생태계에 침투하다
엔비디아의 GPU는 뛰어난 하드웨어뿐만 아니라 강력한 소프트웨어 지원 덕분에 AI 개발자들 사이에서 지배적인 선택이 되었습니다. Trillium TPU에 대한 비슷한 열정을 불러일으키기 위해 Google은 소프트웨어 프레임워크를 크게 개선했습니다. 여기에는 XLA 컴파일러와 JAX, PyTorch, TensorFlow와 같은 인기 있는 AI 프레임워크에 대한 최적화가 포함되어 개발자가 AI 교육, 튜닝 및 배포에서 비용 효율성을 극대화할 수 있습니다.
Trillium TPU의 주요 개선 사항
Trillium TPU는 이전 세대에 비해 다음을 포함하여 다양한 실질적인 개선 사항을 제공합니다.
- 훈련 성과가 4배 이상 증가했습니다.
- 추론 처리량이 최대 3배 향상됨
- 에너지 효율성이 67% 향상되었습니다.
- 칩당 최대 컴퓨팅 성능이 인상적인 4.7배로 향상되었습니다.
- 고대역폭 메모리(HBM) 용량이 2배로 늘어났습니다.
- ICI(Interchip Interconnect) 대역폭도 2배로 늘어났다.
- 통합된 Jupiter 네트워크 패브릭에 100,000개의 Trillium 칩을 배포하는 기능
- 달러당 교육 성능이 최대 2.5배 향상되고 추론 성능이 최대 1.4배 향상되었습니다.
확장성 및 가용성
Google은 Trillium TPU가 3,072개의 칩으로 구성된 12개의 포드를 설정하여 99%의 인상적인 확장 효율성을 달성할 수 있고, 6,144개의 칩을 사용하는 24개의 포드에서는 94%의 효율성을 달성할 수 있어 GPT-3 1,750억 개의 매개변수와 같은 대규모 모델을 사전 학습하는 데 적합하다고 보고했습니다.
현재 Trillium은 북미(미국 동부), 유럽(서부), 아시아(북동부)를 포함한 주요 지역에 배포할 수 있습니다. 평가에 관심이 있는 사용자의 경우 비용은 칩 시간당 $2.7000에서 시작합니다. 또한 장기 약정은 1년 동안 칩 시간당 $1.8900, 3년 약정의 경우 칩 시간당 $1.2200의 할인된 요금을 제공합니다.
결론
확장성과 향상된 소프트웨어 기능을 갖춘 Trillium은 Google의 클라우드 AI 인프라 전략에 있어 상당한 진전을 의미하며, 끊임없이 진화하는 AI 가속기 시장에서 강력한 경쟁자로 자리매김할 것입니다.
답글 남기기