NVIDIA 已正式為其 GeForce RTX GPU 推出 TensorRT，承諾顯著提升效能——比 DirectML 快 2 倍——尤其適用於 AI 應用程式。
NVIDIA 的 TensorRT 改變了 RTX GPU 上的 AI 效能
在令人興奮的公告中，NVIDIA 已在其 RTX 平台上推出 TensorRT。這款強大的 AI 推理引擎可讓使用 RTX GPU 的消費者體驗到顯著的速度提升，從而優化他們的應用程式以獲得更有效率的效能。
透過 TensorRT 的集成，與 DirectML 相比，使用者可以預期各種 AI 應用的運算能力將提升 2 倍。值得注意的是，TensorRT 也得到了 Windows ML 的原生支持，從而增強了相容性和效率。此外，TensorRT-LLM 已經在 Windows 平台上可用。
現今的 AI PC 軟體堆疊要求開發人員在具有廣泛硬體支援但效能較低的框架，或僅覆蓋某些硬體或模型類型並要求開發人員維護多條路徑的最佳化路徑之間進行選擇。新的 Windows ML 推理框架就是為了解決這些挑戰而建構的。
Windows ML 建立在 ONNX Runtime 之上，並無縫連接到每個硬體製造商提供和維護的最佳化 AI 執行層。對於 GeForce RTX GPU，Windows ML 會自動使用 TensorRT for RTX——一種針對高效能和快速部署進行最佳化的推理庫。與 DirectML 相比，TensorRT 為 PC 上的 AI 工作負載提供了超過 50% 的效能提升。
Windows ML 也為開發人員帶來了生活品質的好處。它可以自動選擇正確的硬體來運行每個 AI 功能，並下載該硬體的執行提供程序，無需將這些檔案打包到他們的應用程式中。這使得 NVIDIA 能夠在最新的 TensorRT 效能優化準備就緒後立即提供給使用者。由於它是基於 ONNX Runtime 構建的，因此 Windows ML 可以與任何 ONNX 模型配合使用。
除了增強效能之外，TensorRT for RTX 還引入了最佳化，將庫檔案大小顯著減少了 8 倍，並包括針對各個 GPU 量身定制的即時優化。這項尖端技術將於 6 月在所有 NVIDIA GeForce RTX GPU 上推出，更多詳細資訊請造訪developer.nvidia.com。
效能評估顯示，借助 TensorRT，ComfyUI 等應用程式的速度可提高 2 倍，而 DaVinci Resolve 和 Vegas Pro 等影片編輯工具的速度可提高 60%。這有望加速 AI 驅動的工作流程，使 RTX GPU 能夠充分發揮其功能。
NVIDIA 的創新影響深遠，為超過 150 個 AI SDK 提供支持，本月還有五個新的 ISV 整合推出，其中包括：
- LM Studio（最新 CUDA 效能提升 30%）
- Topaz Video AI（GenAI 影片加速 CUDA）
- Bilibili（NVIDIA Broadcast Effects）
- AutoDesk VRED (DLSS 4)
- 混沌之境 (DLSS 4)
此外，NVIDIA 也宣布推出新的 NIM 和 AI 藍圖，其中包含 Project G-Assist 的插件，整合了 Discord、Gemini、IFTTT、Twitch、Spotify 和 SignalRGB 等平台。我們也鼓勵使用者造訪 github.com/NVIDIA/G-Assist 為 Project G-Assist 開發自訂外掛程式。
發佈留言 ▼