NVIDIA TensorRT double les performances RTX sur tous les GPU RTX pour PC de bureau

NVIDIA a officiellement lancé TensorRT pour ses GPU GeForce RTX, promettant une amélioration remarquable des performances, jusqu’à 2 fois plus rapide que DirectML, spécifiquement pour les applications d’IA.

TensorRT de NVIDIA transforme les performances de l’IA sur les GPU RTX

NVIDIA annonce aujourd’hui la disponibilité de TensorRT sur sa plateforme RTX. Ce puissant moteur d’inférence IA permet aux utilisateurs de GPU RTX de bénéficier d’améliorations significatives de la vitesse, optimisant ainsi leurs applications pour des performances accrues.

Grâce à l’intégration de TensorRT, les utilisateurs peuvent espérer des gains de puissance de calcul jusqu’à deux fois supérieurs à ceux de DirectML dans diverses applications d’IA. TensorRT est notamment pris en charge nativement par Windows ML, améliorant ainsi la compatibilité et l’efficacité. De plus, TensorRT-LLM est déjà disponible sur la plateforme Windows.

La pile logicielle d’IA actuelle pour PC oblige les développeurs à choisir entre des frameworks offrant une prise en charge matérielle étendue mais des performances moindres, ou des chemins optimisés ne couvrant que certains types de matériel ou de modèles et exigeant la gestion de plusieurs chemins. Le nouveau framework d’inférence Windows ML a été conçu pour relever ces défis.

Windows ML s’appuie sur ONNX Runtime et se connecte de manière transparente à une couche d’exécution d’IA optimisée fournie et maintenue par chaque fabricant de matériel. Pour les GPU GeForce RTX, Windows ML utilise automatiquement TensorRT pour RTX, une bibliothèque d’inférence optimisée pour des performances élevées et un déploiement rapide. Comparé à DirectML, TensorRT offre des performances plus de 50 % plus rapides pour les charges de travail d’IA sur PC.

Windows ML offre également des avantages en termes de qualité de vie pour le développeur. Il sélectionne automatiquement le matériel adapté à chaque fonctionnalité d’IA et télécharge le fournisseur d’exécution correspondant, éliminant ainsi le besoin d’intégrer ces fichiers dans l’application. NVIDIA peut ainsi proposer aux utilisateurs les dernières optimisations de performances TensorRT dès qu’ils sont prêts. Basé sur ONNX Runtime, Windows ML est compatible avec tous les modèles ONNX.

Au-delà de la simple amélioration des performances, TensorRT pour RTX introduit également des optimisations qui réduisent considérablement la taille des fichiers de bibliothèque (8x) et incluent des optimisations « just-in-time » adaptées à chaque GPU. Cette technologie de pointe sera déployée en juin sur tous les GPU NVIDIA GeForce RTX. Plus d’informations sont disponibles sur developer.nvidia.com.

Les évaluations de performances révèlent qu’avec TensorRT, des applications comme ComfyUI doublent leur vitesse, tandis que des outils de montage vidéo comme DaVinci Resolve et Vegas Pro peuvent enregistrer jusqu’à 60 % d’amélioration. Cela promet d’accélérer les workflows pilotés par l’IA, permettant aux GPU RTX d’exploiter pleinement leurs capacités.

Les innovations de NVIDIA sont de grande envergure, alimentant plus de 150 SDK d’IA, avec cinq nouvelles intégrations ISV arrivant ce mois-ci, parmi lesquelles :

LM Studio (+30% de performances avec le dernier CUDA)
Topaz Video AI (GenAI Video accéléré CUDA)
Bilibili (effets de diffusion NVIDIA)
AutoDesk VRED (DLSS 4)
Évasion du chaos (DLSS 4)

NVIDIA annonce également de nouveaux NIM et AI Blueprints, intégrant des plugins pour le projet G-Assist et intégrant des plateformes telles que Discord, Gemini, IFTTT, Twitch, Spotify et SignalRGB. Les utilisateurs sont également encouragés à développer des plugins personnalisés pour le projet G-Assist en visitant github.com/NVIDIA/G-Assist.

Source et images