NVIDIA는 GeForce RTX GPU용 TensorRT를 공식 출시하면서 특히 AI 애플리케이션에서 DirectML보다 최대 2배 빠른 놀라운 성능 향상을 약속했습니다.
NVIDIA의 TensorRT, RTX GPU에서 AI 성능 혁신
NVIDIA가 RTX 플랫폼 전반에 걸쳐 TensorRT를 지원한다는 흥미로운 발표를 했습니다.이 강력한 AI 추론 엔진을 통해 RTX GPU 사용자는 상당한 속도 향상을 경험하고, 애플리케이션 최적화를 통해 더욱 효율적인 성능을 구현할 수 있습니다.
TensorRT 통합을 통해 사용자는 다양한 AI 애플리케이션에서 DirectML 대비 최대 2배의 연산 성능 향상을 기대할 수 있습니다.특히 TensorRT는 Windows ML을 기본적으로 지원하여 호환성과 효율성을 향상시킵니다.또한 TensorRT-LLM은 이미 Windows 플랫폼에서 사용 가능합니다.
오늘날의 AI PC 소프트웨어 스택은 개발자가 광범위한 하드웨어를 지원하지만 성능이 낮은 프레임워크, 또는 특정 하드웨어 또는 모델 유형만 지원하고 개발자가 여러 경로를 유지해야 하는 최적화된 경로 중에서 선택해야 합니다.새로운 Windows ML 추론 프레임워크는 이러한 과제를 해결하기 위해 개발되었습니다.
Windows ML은 ONNX 런타임을 기반으로 구축되었으며, 각 하드웨어 제조업체에서 제공하고 관리하는 최적화된 AI 실행 계층에 원활하게 연결됩니다. GeForce RTX GPU의 경우, Windows ML은 고성능과 빠른 배포에 최적화된 추론 라이브러리인 TensorRT for RTX를 자동으로 사용합니다. TensorRT는 DirectML과 비교하여 PC에서 AI 워크로드에 대해 50% 이상 빠른 성능을 제공합니다.
Windows ML은 개발자에게 삶의 질 향상이라는 이점을 제공합니다.각 AI 기능을 실행할 적절한 하드웨어를 자동으로 선택하고 해당 하드웨어에 대한 실행 공급자를 다운로드하므로, 해당 파일을 앱에 패키징할 필요가 없습니다.이를 통해 NVIDIA는 사용자가 준비되는 즉시 최신 TensorRT 성능 최적화를 제공할 수 있습니다.또한 ONNX 런타임 기반으로 구축되어 모든 ONNX 모델과 호환됩니다.
TensorRT for RTX는 단순히 성능을 향상시키는 것 외에도 라이브러리 파일 크기를 8배까지 크게 줄이는 최적화 기능을 도입하고, 각 GPU에 맞춰 적시에 최적화를 수행합니다.이 최첨단 기술은 6월에 모든 NVIDIA GeForce RTX GPU에 적용될 예정이며, 자세한 내용은 developer.nvidia.com에서 확인할 수 있습니다.
성능 평가 결과, TensorRT를 적용한 ComfyUI와 같은 애플리케이션의 속도는 2배 향상되었으며, DaVinci Resolve 및 Vegas Pro와 같은 비디오 편집 도구의 속도는 최대 60% 향상되었습니다.이를 통해 AI 기반 워크플로우가 가속화되어 RTX GPU의 성능을 최대한 활용할 수 있게 될 것입니다.
NVIDIA의 혁신은 광범위하며, 150개가 넘는 AI SDK를 지원하며, 이번 달에 5개의 새로운 ISV 통합이 추가되었습니다.여기에는 다음이 포함됩니다.
- LM Studio(최신 CUDA로 30% 성능 향상)
- Topaz Video AI(GenAI Video 가속 CUDA)
- 빌리빌리(NVIDIA 방송 효과)
- AutoDesk VRED(DLSS 4)
- 카오스 인스케이프(DLSS 4)
또한 NVIDIA는 Discord, Gemini, IFTTT, Twitch, Spotify, SignalRGB 등의 플랫폼을 통합하는 Project G-Assist 플러그인을 탑재한 새로운 NIM과 AI 블루프린트를 발표했습니다.사용자는 github.com/NVIDIA/G-Assist를 방문하여 Project G-Assist용 맞춤 플러그인을 개발할 수도 있습니다.
답글 남기기