NVIDIA는 최근 최신 GeForce RTX 5090 GPU를 공개했는데, 이는 DeepSeek R1 모델에서 추론 작업에서 AMD의 RX 7900 XTX보다 상당히 뛰어납니다.이러한 인상적인 성능 향상은 주로 NVIDIA 아키텍처에 통합된 새로운 5세대 Tensor Cores 덕분입니다.
RTX GPU를 사용한 DeepSeek 추론 모델에 대한 간소화된 액세스
소비자용 GPU가 진화함에 따라, 로컬 시스템에서 고급 대규모 언어 모델(LLM)을 실행하기 위한 강력한 도구가 되었습니다. NVIDIA와 AMD는 모두 이러한 모델의 사용성을 향상시키기 위해 하드웨어를 진화시키고 있습니다.최근 AMD는 DeepSeek R1 LLM을 사용하는 RDNA 3 플래그십 GPU의 기능을 강조했습니다.이에 대응하여 NVIDIA는 최신 RTX Blackwell 시리즈의 벤치마킹 결과를 선보이며 GeForce RTX 5090이 경쟁사보다 결정적인 우위를 차지했다는 것을 확인했습니다.
성능 지표에 따르면 GeForce RTX 5090은 Distill Qwen 7b 및 Distill Llama 8b와 같은 모델로 초당 최대 200개의 토큰을 처리할 수 있습니다.이 출력은 AMD의 RX 7900 XTX 성능을 거의 두 배로 높여 AI 성능에서 NVIDIA의 우위를 강조합니다.포괄적인 “AI의 RTX” 지원이 도입됨에 따라 엣지 AI 기능이 소비자 등급 PC에서 일반화될 것으로 예상할 수 있습니다.
NVIDIA GPU에서 DeepSeek R1 액세스
NVIDIA는 RTX GPU에서 DeepSeek R1을 활용하려는 매니아를 위한 액세스를 용이하게 했습니다.이 회사는 사용자에게 설정을 안내하는 자세한 블로그를 출시하여 온라인 챗봇을 운영하는 것만큼 간단하게 만들었습니다.최근 발표에서 얻은 주요 요점은 다음과 같습니다.
개발자가 이러한 기능을 안전하게 실험하고 자체 전문 에이전트를 구축할 수 있도록 6710억 개의 매개변수를 가진 DeepSeek-R1 모델이 이제 build.nvidia.com 에서 NVIDIA NIM 마이크로서비스 미리보기로 제공됩니다. DeepSeek-R1 NIM 마이크로서비스는 단일 NVIDIA HGX H200 시스템에서 초당 최대 3, 872개의 토큰을 제공할 수 있습니다.
개발자들은 NVIDIA AI Enterprise 소프트웨어 플랫폼 의 일부인 다운로드 가능한 NIM 마이크로서비스로 곧 제공될 예정인 애플리케이션 프로그래밍 인터페이스(API)를 테스트하고 실험할 수 있습니다.
DeepSeek-R1 NIM 마이크로서비스는 업계 표준 API를 지원하여 배포를 간소화합니다.기업은 선호하는 가속 컴퓨팅 인프라에서 NIM 마이크로서비스를 실행하여 보안 및 데이터 개인 정보 보호를 극대화할 수 있습니다.
– 엔비디아
이 혁신적인 접근 방식을 통해 개발자와 애호가는 로컬 빌드를 사용하여 AI 모델을 실험할 수 있습니다.이러한 모델을 로컬에서 실행하면 시스템의 하드웨어 기능에 따라 성능이 향상될 뿐만 아니라 더 큰 데이터 보안이 보장되어 프로세스 전반에 걸쳐 민감한 정보가 보호됩니다.
NVIDIA의 제품에 대해 더 자세히 알아보고 싶은 분들은 이 링크를 통해 자세한 정보를 확인하세요.
또는 자세한 내용과 이미지를 보려면 출처를 방문하세요.
관련 기사:
Intel, AMD Ryzen 9000 대비 게이머를 위한 탁월한 가치의 Arrow Lake 데스크톱 CPU 홍보: 달러당 게임 성능에서 Core Ultra 7 265K와 9800X3D 비교
21:38
DirectX AgilitySDK는 셰이더 컴파일 중 끊김 현상과 로딩 시간을 줄이기 위해 고급 셰이더 전달 기능을 도입합니다.
20:09
중국 YMTC, 국내 생산으로 지역 HBM 부족 해소 위해 DRAM 시장 진출
15:09
답글 남기기