
NVIDIA 已正式为其 GeForce RTX GPU 推出 TensorRT,承诺显著提升性能——比 DirectML 快 2 倍——尤其适用于 AI 应用程序。
NVIDIA 的 TensorRT 改变了 RTX GPU 上的 AI 性能
NVIDIA 宣布在其 RTX 平台上正式推出 TensorRT。这款强大的 AI 推理引擎将显著提升 RTX GPU 的使用体验,优化应用程序,提升性能。

与 DirectML 相比,TensorRT 的集成将使用户在各种 AI 应用中的计算能力提升高达 2 倍。值得注意的是,TensorRT 也原生支持 Windows ML,从而增强了兼容性和效率。此外,TensorRT-LLM 已在 Windows 平台上可用。

如今,AI PC 软件堆栈要求开发人员在两种框架之间做出选择:一种框架拥有广泛的硬件支持,但性能较低;另一种框架则采用优化路径,但仅覆盖特定硬件或模型类型,需要开发人员维护多条路径。全新的 Windows ML 推理框架正是为解决这些挑战而构建的。
Windows ML 构建于 ONNX Runtime 之上,并无缝连接到由各硬件制造商提供和维护的优化 AI 执行层。对于 GeForce RTX GPU,Windows ML 自动使用 TensorRT for RTX——一个针对高性能和快速部署而优化的推理库。与 DirectML 相比,TensorRT 可为 PC 上的 AI 工作负载提供超过 50% 的性能提升。
Windows ML 还为开发者带来了生活质量方面的益处。它可以自动选择合适的硬件来运行每个 AI 功能,并下载该硬件的执行提供程序,无需将这些文件打包到他们的应用程序中。这使得 NVIDIA 能够在用户准备就绪后立即为他们提供最新的 TensorRT 性能优化。而且,由于 Windows ML 基于 ONNX Runtime 构建,因此它可以与任何 ONNX 模型兼容。

除了性能提升之外,TensorRT for RTX 还引入了多项优化,将库文件大小显著缩减了 8 倍,并包含针对特定 GPU 定制的即时优化功能。这项尖端技术将于 6 月面向所有 NVIDIA GeForce RTX GPU 推出,更多详情请访问developer.nvidia.com。
性能评估显示,借助 TensorRT,ComfyUI 等应用程序的速度可提升 2 倍,而 DaVinci Resolve 和 Vegas Pro 等视频编辑工具的速度可提升高达 60%。这有望加速 AI 驱动的工作流程,使 RTX GPU 能够充分发挥其性能。





NVIDIA 的创新影响深远,为超过 150 个 AI SDK 提供支持,本月还有五个新的 ISV 集成推出,其中包括:
- LM Studio(最新 CUDA 性能提升 30%)
- Topaz Video AI(GenAI 视频加速 CUDA)
- Bilibili(NVIDIA Broadcast Effects)
- AutoDesk VRED (DLSS 4)
- 混沌之境 (DLSS 4)
此外,NVIDIA 还宣布推出全新的 NIM 和 AI 蓝图,其中包含 G-Assist 项目的插件,并集成了 Discord、Gemini、IFTTT、Twitch、Spotify 和 SignalRGB 等平台。我们也鼓励用户访问 github.com/NVIDIA/G-Assist 为 G-Assist 项目开发自定义插件。
发表回复 ▼