퀄컴은 랙 레벨 AI 추론 솔루션으로 기능하도록 전략적으로 설계된 차세대 AI 칩을 공개했습니다.이 칩의 가장 큰 특징은 모바일 메모리를 활용한다는 것입니다.
대담한 변화: Qualcomm의 AI 칩, 효율적인 추론을 위해 HBM에서 벗어나다
모바일 기술 분야의 선두주자로 역사적으로 인정받아 온 퀄컴은 최근 몇 년간 소비자 컴퓨팅 및 AI 인프라 분야로 진출하며 포트폴리오를 대폭 다각화해 왔습니다.최근 랙 스케일 애플리케이션용으로 특별히 개발된 AI200 및 AI250 칩 솔루션을 출시했습니다.이는 NVIDIA와 AMD와 같은 업계 거물들이 주도하는 경쟁 시장에 퀄컴이 진출하는 의미 있는 성과입니다.퀄컴의 독보적인 접근 방식은 모바일 기기에 주로 사용되는 LPDDR 메모리를 활용하여 칩의 성능을 향상시킵니다.
LPDDR 메모리 사용의 중요성을 이해하려면 일반적으로 사용되는 고대역폭 메모리(HBM)와 비교해 보는 것이 중요합니다. AI200 및 AI250 칩은 최대 768GB의 LPDDR 메모리 용량을 제공할 수 있으며, 이는 HBM 시스템이 일반적으로 제공하는 대역폭을 능가합니다.이러한 전략은 데이터 이동 에너지와 비용을 모두 절감하여 퀄컴이 “근거리 메모리” 아키텍처라고 부르는 것을 구현합니다. HBM 대신 LPDDR을 채택할 때 얻을 수 있는 주요 이점은 다음과 같습니다.
- 전력 효율성: 비트당 에너지 소비가 낮습니다.
- 비용 효율성: 고급 HBM 대안과 비교했을 때 가격이 더 저렴합니다.
- 메모리 밀도 증가: 추론 애플리케이션에 이상적입니다.
- 열 효율: HBM 솔루션에 비해 열 출력이 감소했습니다.
이러한 유망한 기능에도 불구하고, 퀄컴의 랙 스케일 칩은 엔비디아와 AMD의 기존 제품에 비해 한계가 있습니다. HBM이 없기 때문에 인터페이스가 좁아져 메모리 대역폭이 감소하고 지연 시간이 증가합니다.더욱이 LPDDR 메모리는 고온을 특징으로 하는 24시간 가동되는 까다로운 서버 환경에서 최적의 성능을 발휘하지 못할 수 있습니다.퀄컴의 주요 목표는 AI 추론을 위한 실행 가능한 옵션을 제공하는 것으로 보이지만, 이러한 강조는 특정 애플리케이션에만 적용되도록 제한합니다.
또한 AI200 및 AI250 칩은 직접 액체 냉각 기술을 탑재하고 PCIe/이더넷 프로토콜을 지원하며, 160kW의 비교적 낮은 랙 단위 전력 소비량을 유지합니다.특히, 이 칩들은 고급 데이터 형식 및 추론 최적화 기능 지원을 포함하여 추론 성능을 꾸준히 향상시켜 온 Qualcomm의 Hexagon NPU와 통합되어 있습니다.
AI 하드웨어 시장 경쟁이 치열해지고 있습니다.인텔과 같은 주요 업체들이 ‘크레센트 아일랜드(Crescent Island)’ 솔루션을 출시하고 엔비디아가 루빈 CPX AI 칩을 출시했습니다.퀄컴은 추론 분야의 중요성이 커지고 있음을 인지하고 AI200과 AI250 솔루션 출시를 전략적으로 추진했습니다.하지만 대규모 학습이나 대규모 워크로드가 필요한 작업의 경우, 이러한 솔루션은 선호되지 않을 수 있습니다.
AI 분야에서 경쟁이 치열해지는 것은 흥미진진한 일이며, Qualcomm의 발표에 대한 소매업체들의 초기 반응은 압도적으로 긍정적이었습니다.
답글 남기기