NVIDIA TensorRT duplica el rendimiento de RTX en todas las GPU RTX para PC de escritorio

NVIDIA lanzó oficialmente TensorRT para sus GPU GeForce RTX, prometiendo una mejora notable en el rendimiento (hasta 2 veces más rápido que DirectML), específicamente para aplicaciones de IA.

TensorRT de NVIDIA transforma el rendimiento de la IA en las GPU RTX

En un emocionante anuncio, NVIDIA ha puesto TensorRT a disposición de su plataforma RTX. Este potente motor de inferencia de IA permite a los usuarios de GPU RTX experimentar mejoras significativas de velocidad, optimizando sus aplicaciones para un rendimiento más eficiente.

Con la integración de TensorRT, los usuarios pueden esperar mejoras computacionales de hasta el doble en diversas aplicaciones de IA en comparación con DirectML. Cabe destacar que TensorRT también es compatible de forma nativa con Windows ML, lo que mejora la compatibilidad y la eficiencia. Además, TensorRT-LLM ya está disponible en la plataforma Windows.

El conjunto actual de software de IA para PC exige que los desarrolladores elijan entre marcos con amplia compatibilidad de hardware, pero de menor rendimiento, o rutas optimizadas que solo cubren ciertos tipos de hardware o modelos y requieren que el desarrollador mantenga múltiples rutas. El nuevo marco de inferencia de Windows ML se diseñó para resolver estos desafíos.

Windows ML se basa en ONNX Runtime y se conecta fluidamente a una capa de ejecución de IA optimizada, proporcionada y mantenida por cada fabricante de hardware. Para las GPU GeForce RTX, Windows ML utiliza automáticamente TensorRT para RTX, una biblioteca de inferencia optimizada para un alto rendimiento y una implementación rápida. En comparación con DirectML, TensorRT ofrece un rendimiento un 50 % más rápido para cargas de trabajo de IA en PC.

Windows ML también ofrece ventajas para el desarrollador. Permite seleccionar automáticamente el hardware adecuado para ejecutar cada función de IA y descargar el proveedor de ejecución correspondiente, eliminando así la necesidad de empaquetar esos archivos en la aplicación. Esto permite a NVIDIA ofrecer a los usuarios las últimas optimizaciones de rendimiento de TensorRT en cuanto estén listos. Además, al estar basado en ONNX Runtime, Windows ML es compatible con cualquier modelo de ONNX.

Además de mejorar el rendimiento, TensorRT para RTX también introduce optimizaciones que reducen significativamente el tamaño de los archivos de biblioteca hasta 8 veces e incluye optimizaciones justo a tiempo adaptadas a cada GPU. Esta tecnología de vanguardia se lanzará en junio para todas las GPU NVIDIA GeForce RTX. Para más información, visite developer.nvidia.com.

Las evaluaciones de rendimiento revelan que con TensorRT, aplicaciones como ComfyUI duplican su velocidad, mientras que herramientas de edición de video como DaVinci Resolve y Vegas Pro pueden experimentar una mejora de hasta el 60 %.Esto promete acelerar los flujos de trabajo basados en IA, permitiendo que las GPU RTX maximicen sus capacidades.

Las innovaciones de NVIDIA son de gran alcance e impulsan más de 150 SDK de IA, con cinco nuevas integraciones de ISV que llegan este mes, que incluyen:

LM Studio (+30% de rendimiento con la última versión de CUDA)
Topaz Video AI (CUDA acelerado por GenAI Video)
Bilibili (Efectos de transmisión de NVIDIA)
AutoDesk VRED (DLSS 4)
Chaos Enscape (DLSS 4)

Además, NVIDIA anuncia nuevos NIM y Blueprints de IA, que incluyen plugins para el Proyecto G-Assist e integran plataformas como Discord, Gemini, IFTTT, Twitch, Spotify y SignalRGB. También se anima a los usuarios a desarrollar plugins personalizados para el Proyecto G-Assist visitando github.com/NVIDIA/G-Assist.

Fuente e imágenes