NVIDIA TensorRT verdoppelt die RTX-Leistung aller RTX-GPUs für Desktop-PCs

NVIDIA hat TensorRT offiziell für seine GeForce RTX-GPUs eingeführt und verspricht eine bemerkenswerte Leistungsverbesserung – bis zu 2x schneller als DirectML – speziell für KI-Anwendungen.

NVIDIAs TensorRT transformiert die KI-Leistung auf RTX-GPUs

NVIDIA hat TensorRT für seine RTX-Plattform verfügbar gemacht. Diese leistungsstarke KI-Inferenz-Engine ermöglicht Nutzern von RTX-GPUs deutliche Geschwindigkeitssteigerungen und optimiert ihre Anwendungen für eine effizientere Leistung.

Durch die Integration von TensorRT können Anwender in verschiedenen KI-Anwendungen im Vergleich zu DirectML bis zu doppelt so hohe Rechenleistung erzielen. TensorRT wird außerdem nativ von Windows ML unterstützt, was Kompatibilität und Effizienz verbessert. Darüber hinaus ist TensorRT-LLM bereits auf der Windows-Plattform verfügbar.

Der heutige KI-PC-Software-Stack erfordert von Entwicklern die Wahl zwischen Frameworks mit breiter Hardwareunterstützung, aber geringerer Leistung oder optimierten Pfaden, die nur bestimmte Hardware- oder Modelltypen abdecken und die Pflege mehrerer Pfade erfordern. Das neue Windows ML-Inferenz-Framework wurde entwickelt, um diese Herausforderungen zu lösen.

Windows ML basiert auf ONNX Runtime und verbindet sich nahtlos mit einer optimierten KI-Ausführungsebene, die von jedem Hardwarehersteller bereitgestellt und gepflegt wird. Für GeForce RTX-Grafikprozessoren verwendet Windows ML automatisch TensorRT für RTX – eine für hohe Leistung und schnelle Bereitstellung optimierte Inferenzbibliothek. Im Vergleich zu DirectML bietet TensorRT über 50 % mehr Leistung für KI-Workloads auf PCs.

Windows ML bietet Entwicklern zudem eine höhere Lebensqualität. Es kann automatisch die passende Hardware für die Ausführung jeder KI-Funktion auswählen und den entsprechenden Ausführungsprovider herunterladen, sodass diese Dateien nicht mehr in die App integriert werden müssen. Dadurch kann NVIDIA Nutzern die neuesten TensorRT-Leistungsoptimierungen sofort bereitstellen. Da Windows ML auf ONNX Runtime basiert, funktioniert es mit jedem ONNX-Modell.

TensorRT für RTX steigert nicht nur die Leistung, sondern bietet auch Optimierungen, die die Bibliotheksdateigröße um das Achtfache reduzieren, und bietet Just-in-Time-Optimierungen, die auf einzelne GPUs zugeschnitten sind. Diese Spitzentechnologie wird im Juni für alle NVIDIA GeForce RTX-GPUs eingeführt. Weitere Informationen finden Sie unter developer.nvidia.com.

Leistungsbewertungen zeigen, dass Anwendungen wie ComfyUI mit TensorRT eine doppelt so hohe Geschwindigkeit erreichen, während Videobearbeitungstools wie DaVinci Resolve und Vegas Pro eine Geschwindigkeitssteigerung von bis zu 60 % erzielen. Dies verspricht eine Beschleunigung KI-gesteuerter Workflows und ermöglicht es RTX-GPUs, ihr volles Potenzial auszuschöpfen.

Die Innovationen von NVIDIA sind weitreichend und treiben über 150 KI-SDKs voran. In diesem Monat kommen fünf neue ISV-Integrationen hinzu, darunter:

LM Studio (+30 % Leistung mit dem neuesten CUDA)
Topaz Video AI (GenAI Video beschleunigtes CUDA)
Bilibili (NVIDIA Broadcast-Effekte)
AutoDesk VRED (DLSS 4)
Chaos Enscape (DLSS 4)

Darüber hinaus kündigt NVIDIA neue NIMs und KI-Blueprints an, die Plug-ins für Project G-Assist enthalten und Plattformen wie Discord, Gemini, IFTTT, Twitch, Spotify und SignalRGB integrieren. Nutzer können außerdem eigene Plug-ins für Project G-Assist entwickeln, indem sie github.com/NVIDIA/G-Assist besuchen.

Quelle & Bilder