NVIDIA는 하이퍼스케일러를 위한 최신 컴퓨팅 솔루션인 Blackwell Ultra를 출시했습니다.최근 GB300 NVL72 벤치마크 결과에 따르면, 특히 저지연 및 광범위한 컨텍스트 애플리케이션에서 탁월한 성능을 보여줍니다.
NVIDIA의 Blackwell Ultra AI 랙: NVLink 기술 발전을 통한 향상된 에이전트 성능
2022년 이후 인공지능(AI) 분야는 급격한 변화를 겪어왔으며, 특히 고급 애플리케이션과 프레임워크를 기반으로 하는 에이전트 컴퓨팅이 두드러지게 주목받고 있습니다. NVIDIA와 같은 인프라 제공업체에게 있어 이러한 정교한 시스템의 엄격한 지연 시간 요구 사항을 충족하기 위해서는 높은 메모리 대역폭과 성능이 필수적입니다. NVIDIA의 Blackwell Ultra 시리즈는 이러한 요구 사항을 효과적으로 충족합니다. NVIDIA가 최근 블로그 게시물을 통해 공개한 평가에서 Blackwell Ultra는 SemiAnalysis의 InferenceMAX 벤치마크에서 뛰어난 성능을 보여주었습니다.
NVIDIA는 오늘날 하이퍼스케일러 개발에서 매우 중요한 지표인 “토큰/와트”를 강조합니다.순수 성능과 처리량 향상 모두에 중점을 둔 것이 분명하며, GB300 NVL72는 이전 세대 Hopper GPU와 비교했을 때 메가와트당 처리량이 무려 50배 증가했습니다.비교 이미지는 각 아키텍처의 최적 ‘배포 상태’를 보여줍니다.
NVIDIA는 어떻게 이처럼 엄청난 처리량 향상을 달성했을까요? 그 해답은 최첨단 NVLink 기술에 있습니다. Blackwell Ultra는 72개의 GPU가 하나의 NVLink 패브릭으로 통합되어 최대 130TB/s의 연결 속도를 제공합니다.반면 Hopper 시리즈는 8개의 칩으로 구성된 NVLink 설계를 사용하는데, 이는 효과적이긴 하지만 Blackwell Ultra의 혁신적인 아키텍처와 레이아웃에는 미치지 못합니다.또한 NVFP4 정밀 포맷의 도입은 GB300의 처리량 우위를 확고히 하는 데 결정적인 역할을 했습니다.
‘에이전트 AI’의 부상과 함께 NVIDIA는 GB300 NVL72에 대한 평가에서 앞서 언급한 업그레이드와 더불어 토큰 비용 절감에도 중점을 두었습니다. NVIDIA는 백만 토큰당 비용이 35배나 크게 감소했다고 보고하며, 이 시스템을 최첨단 연구소와 하이퍼스케일러들이 추론 작업에 사용할 수 있는 최고의 선택지로 자리매김했습니다.확장성 법칙이 전례 없는 속도로 진화함에 따라, NVIDIA는 이러한 성능 향상을 자사의 ‘극단적인 공동 설계’ 전략과 현재 널리 알려진 황의 법칙 덕분이라고 설명합니다.
GB300 NVL72를 Hopper 시리즈와 비교할 때는 컴퓨팅 노드와 아키텍처 설계의 미묘한 차이를 이해하는 것이 중요합니다. NVIDIA는 장기 컨텍스트 워크로드 성능을 평가하기 위해 GB200과 GB300 NVL72를 비교 테스트했습니다.컨텍스트 제약은 에이전트에게 중요한 고려 사항이며, 방대한 코드베이스를 관리하면 토큰 사용량이 기하급수적으로 증가할 수 있습니다. NVIDIA는 Blackwell Ultra를 통해 토큰당 비용을 최대 1.5배 낮추고 어텐션 처리 속도를 2배 빠르게 하여 에이전트 중심 작업에 매우 적합하다고 밝혔습니다.
블랙웰 울트라가 하이퍼스케일러 환경에 통합되기 시작하면서, 이러한 벤치마크 결과는 해당 아키텍처에 대한 초기 평가 중 일부를 나타냅니다.초기 결과는 NVIDIA가 최신 AI 애플리케이션에 맞춰 견고한 성능 확장성을 유지하고 있음을 시사합니다.더욱이, 베라 루빈과 같은 향후 발전 사항들을 통해 블랙웰 세대는 NVIDIA를 경쟁이 치열한 인프라 환경에서 더욱 앞서나가게 할 수 있을 것입니다.
답글 남기기