NVIDIA는 차세대 Vera Rubin 아키텍처의 본격적인 생산에 돌입했으며, 복잡한 랙 시스템 설계와 주요 구성 요소에 대한 심층 분석을 제공했습니다.
NVIDIA의 Vera Rubin 살펴보기: 업그레이드된 칩, 고급 액체 냉각 시스템 및 고성능 NVLink 6
베라 루빈(Vera Rubin)의 도입은 엔비디아의 랙 기술에 있어 중요한 도약을 의미합니다.최근 CNBC 영상 에서는 메인 컴퓨팅 노드, 핵심 네트워킹 및 냉각 시스템을 포함한 베라 루빈의 아키텍처에 대한 자세한 분석이 공개되었습니다.특히 엔비디아의 인프라 담당 수석 이사인 디온 해리스(Dion Harris)는 베라 루빈 시스템을 “세계에서 가장 복잡한 AI 시스템 중 하나”라고 설명하며 구현의 어려움을 강조했습니다.
베라 루빈 시스템에 대한 고객 계약 체결이 임박함에 따라 NVL72 랙의 구조를 이해하는 것이 매우 중요합니다.이 아키텍처의 핵심은 베라 루빈 슈퍼칩입니다.앞서 HBM4와 GPU를 통합하고 특수 SOCAMM 모듈을 추가하여 달성한 상당한 기술 발전을 강조하며 해당 칩의 기술 사양에 대해 논의한 바 있습니다.이러한 혁신 덕분에 1.2TB/s라는 놀라운 메모리 대역폭을 구현할 수 있습니다.
Vera Rubin은 또한 모듈형 액체 냉각 설계를 통해 Rubin GPU 및 Vera CPU와 같은 SuperChip 구성 요소에 최적화된 냉각 기술을 도입하여 냉각 기술을 크게 향상시켰습니다. NVIDIA 경영진은 이러한 혁신적인 냉각 방식이 하이퍼스케일 운영자들이 더욱 발전된 액체 냉각 시스템을 채택하도록 유도할 것이라고 강조합니다.또한, 현재 설계는 물 소비량을 줄여 환경적인 이점도 제공합니다.
NVLink 기술은 Vera Rubin NVL72 시스템의 또 다른 핵심 구성 요소입니다.”NVLink Spine”으로 널리 알려진 6세대 상호 연결을 통해 NVIDIA는 랙당 최대 260TB/s의 놀라운 총 대역폭을 제공하는 것을 목표로 합니다. Harris는 최신 NVLink 버전이 모듈식 설계를 한 단계 끌어올려 랙 수준의 RAS 서비스를 통해 가동 중지 시간 없는 유지 보수와 향상된 안정성을 제공한다고 강조합니다.
초기 예상으로는 베라 루빈 시스템의 가격이 다소 높을 수 있지만, NVIDIA는 이 아키텍처를 통해 블랙웰 GB200 대비 추론 토큰 비용을 10배 절감하고, 전문가 혼합 모델(MoE) 학습에 필요한 GPU 개수를 4배 줄일 수 있다고 밝혔습니다.이는 더 큰 투자가 더 큰 비용 절감으로 이어진다는 NVIDIA CEO의 철학과 일맥상통합니다.
답글 남기기