NVIDIA는 최근 최신 GeForce RTX 5090 GPU를 공개했는데, 이는 DeepSeek R1 모델에서 추론 작업에서 AMD의 RX 7900 XTX보다 상당히 뛰어납니다.이러한 인상적인 성능 향상은 주로 NVIDIA 아키텍처에 통합된 새로운 5세대 Tensor Cores 덕분입니다.
RTX GPU를 사용한 DeepSeek 추론 모델에 대한 간소화된 액세스
소비자용 GPU가 진화함에 따라, 로컬 시스템에서 고급 대규모 언어 모델(LLM)을 실행하기 위한 강력한 도구가 되었습니다. NVIDIA와 AMD는 모두 이러한 모델의 사용성을 향상시키기 위해 하드웨어를 진화시키고 있습니다.최근 AMD는 DeepSeek R1 LLM을 사용하는 RDNA 3 플래그십 GPU의 기능을 강조했습니다.이에 대응하여 NVIDIA는 최신 RTX Blackwell 시리즈의 벤치마킹 결과를 선보이며 GeForce RTX 5090이 경쟁사보다 결정적인 우위를 차지했다는 것을 확인했습니다.
성능 지표에 따르면 GeForce RTX 5090은 Distill Qwen 7b 및 Distill Llama 8b와 같은 모델로 초당 최대 200개의 토큰을 처리할 수 있습니다.이 출력은 AMD의 RX 7900 XTX 성능을 거의 두 배로 높여 AI 성능에서 NVIDIA의 우위를 강조합니다.포괄적인 “AI의 RTX” 지원이 도입됨에 따라 엣지 AI 기능이 소비자 등급 PC에서 일반화될 것으로 예상할 수 있습니다.
NVIDIA GPU에서 DeepSeek R1 액세스
NVIDIA는 RTX GPU에서 DeepSeek R1을 활용하려는 매니아를 위한 액세스를 용이하게 했습니다.이 회사는 사용자에게 설정을 안내하는 자세한 블로그를 출시하여 온라인 챗봇을 운영하는 것만큼 간단하게 만들었습니다.최근 발표에서 얻은 주요 요점은 다음과 같습니다.
개발자가 이러한 기능을 안전하게 실험하고 자체 전문 에이전트를 구축할 수 있도록 6710억 개의 매개변수를 가진 DeepSeek-R1 모델이 이제 build.nvidia.com 에서 NVIDIA NIM 마이크로서비스 미리보기로 제공됩니다. DeepSeek-R1 NIM 마이크로서비스는 단일 NVIDIA HGX H200 시스템에서 초당 최대 3, 872개의 토큰을 제공할 수 있습니다.
개발자들은 NVIDIA AI Enterprise 소프트웨어 플랫폼 의 일부인 다운로드 가능한 NIM 마이크로서비스로 곧 제공될 예정인 애플리케이션 프로그래밍 인터페이스(API)를 테스트하고 실험할 수 있습니다.
DeepSeek-R1 NIM 마이크로서비스는 업계 표준 API를 지원하여 배포를 간소화합니다.기업은 선호하는 가속 컴퓨팅 인프라에서 NIM 마이크로서비스를 실행하여 보안 및 데이터 개인 정보 보호를 극대화할 수 있습니다.
– 엔비디아
이 혁신적인 접근 방식을 통해 개발자와 애호가는 로컬 빌드를 사용하여 AI 모델을 실험할 수 있습니다.이러한 모델을 로컬에서 실행하면 시스템의 하드웨어 기능에 따라 성능이 향상될 뿐만 아니라 더 큰 데이터 보안이 보장되어 프로세스 전반에 걸쳐 민감한 정보가 보호됩니다.
NVIDIA의 제품에 대해 더 자세히 알아보고 싶은 분들은 이 링크를 통해 자세한 정보를 확인하세요.
또는 자세한 내용과 이미지를 보려면 출처를 방문하세요.
관련 기사:
퀄컴 CEO “인텔 칩 생산량 여전히 부족하지만 Team Blue가 칩을 공급할 가능성은 여전히 남아”
18:43
HWiNFO 업데이트: Nova Lake-S 및 향후 AMD 플랫폼 지원, Zen 6용 AMD 900 시리즈를 암시
18:38
ASUS, ROG Strix X870E-H 하츠네 미쿠 에디션 599달러에 출시 (일반 모델 대비 50% 프리미엄)
18:35
답글 남기기