Raja Koduri, SanDisk의 고대역폭 플래시 메모리 자문 위원회에 합류해 HBM 대비 비용 효율적인 4TB AI GPU 용량 8~16배 증가 달성

Raja Koduri, SanDisk의 고대역폭 플래시 메모리 자문 위원회에 합류해 HBM 대비 비용 효율적인 4TB AI GPU 용량 8~16배 증가 달성

라자 코두리는 샌디스크 에서 고대역폭 플래시(HBF) 메모리 개발을 주도하는 중추적인 역할을 맡았습니다.이 혁신은 용량 제약으로 어려움을 겪는 기존 고대역폭 메모리(HBM)의 한계를 해결하여 인공지능(AI) 역량을 강화하도록 설계되었습니다.

라자 코두리, 샌디스크 HBF 메모리 자문위원회에 전략적 임명

2023년 인텔 그래픽 부문에서 은퇴한 전 인텔 수석 아키텍트 라자 코두리는 현재 AI GPU의 VRAM 용량 증대에 전념하고 있습니다.최근 샌디스크 기술 자문 위원회 합류를 발표한 것은 차세대 AI GPU의 메모리 용량을 획기적으로 향상시킬 HBF 메모리 기술 발전에 대한 그의 헌신을 보여줍니다.

라자 라자(Raja Raja)와 샌디스크(SanDisk)의 협력은 GPU 개발 및 컴퓨팅 아키텍처 분야에서 풍부한 경험을 보유하고 있어 주목할 만합니다.이러한 시너지 효과는 HBM의 근본적인 단점을 극복하는 HBF(High Bandwidth Frequency) 기술을 개발하려는 샌디스크의 노력과 잘 맞아떨어집니다.

AI 워크로드를 위해 NAND 플래시로 HBM 메모리를 강화한 고대역폭 플래시 스택 다이어그램입니다.
HBF 스택은 HBM과 동일한 대역폭을 유지하면서도 몇 배 더 큰 메모리 용량을 제공할 수 있습니다.

HBM 개발을 시작할 당시, 저희는 기존 솔루션과 경쟁력 있는 용량을 유지하면서 모바일의 중요한 제약 요소인 와트당 대역폭과 mm²당 대역폭을 개선하는 데 중점을 두었습니다. HBF는 경쟁력 있는 대역폭을 제공하는 동시에 메모리 용량(달러당, 와트당, mm²당)을 크게 늘리는 데 중점을 두고 있습니다.

라자 코두리

AI 중심 슈퍼칩에 대용량 메모리를 성공적으로 제공한 HBM의 급속한 발전에도 불구하고, HBF는 TSV(Through-Silicon Vias) 기술을 활용하여 메모리 용량을 기하급수적으로 증가시킬 수 있는 잠재력을 가지고 있습니다.단일 HBF 스택으로 테라바이트급 메모리 용량을 구현할 수 있으며, 이러한 스택 8개를 시스템에 통합하면 HBM이 제공하는 고대역폭 특성을 유지하면서 AI GPU가 최대 4TB의 VRAM을 구현할 수 있습니다.이러한 발전은 증가하는 AI 애플리케이션의 요구를 충족하는 데 매우 중요합니다.

SanDisk의 HBF 기술은 지연 시간에 민감한 작업에서 DRAM과 직접적으로 경쟁하지 않는다는 점을 이해하는 것이 중요합니다.대신, 이 기술은 지연 시간보다 용량과 대역폭을 우선시하는 추론 및 대규모 모델 학습과 같은 AI 작업의 메모리 요구 사항을 충족하도록 설계되었습니다. Raja의 전략적 역할은 이 고용량 메모리 솔루션의 발전에 중요한 역할을 할 것입니다.

HBM과 HBF GPU 메모리 용량 비교.GPU 메모리 성능의 시각적 표현: 192GB HBM 대 4, 096GB HBF.HBF를 사용하여 Frontier LLM 실행: 1.8T 매개변수, 16비트 가중치, GPU용 3, 600GB 메모리.

SanDisk가 HBF를 개방형 표준 프레임워크로 확립하는 것을 목표로 하고 있기 때문에, 이 이니셔티브는 업계 전반에 걸쳐 광범위한 채택을 촉진할 것으로 예상됩니다. Raja의 탁월한 네트워크와 생태계 구축 경험은 GPU 제조업체와의 협력을 강화하는 데 매우 중요할 것입니다.

HBF는 로컬에서 실시간으로 실행되는 정교한 모델을 지원할 수 있는 메모리 용량과 대역폭 기능을 기기에 탑재함으로써 엣지 AI에 혁신을 가져올 것입니다.이러한 발전은 지능형 엣지 애플리케이션의 새로운 시대를 열어 AI 추론이 수행되는 방식과 장소를 근본적으로 변화시킬 것입니다.

– 라자 코두리

자세한 내용은 SanDisk 의 공식 발표를 참조하세요.

출처 및 이미지

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다