NVIDIA TensorRT raddoppia le prestazioni RTX su tutte le GPU RTX per PC desktop

NVIDIA ha lanciato ufficialmente TensorRT per le sue GPU GeForce RTX, promettendo un notevole miglioramento delle prestazioni, fino a 2 volte più veloce di DirectML, in particolare per le applicazioni di intelligenza artificiale.

TensorRT di NVIDIA trasforma le prestazioni dell’intelligenza artificiale sulle GPU RTX

Con un annuncio entusiasmante, NVIDIA ha reso disponibile TensorRT sulla sua piattaforma RTX. Questo potente motore di inferenza AI consente agli utenti che utilizzano GPU RTX di sperimentare significativi miglioramenti di velocità, ottimizzando le loro applicazioni per prestazioni più efficienti.

Con l’integrazione di TensorRT, gli utenti possono aspettarsi miglioramenti computazionali fino a 2 volte superiori in diverse applicazioni di intelligenza artificiale rispetto a DirectML. In particolare, TensorRT è supportato nativamente anche da Windows ML, migliorando la compatibilità e l’efficienza. Inoltre, TensorRT-LLM è già disponibile sulla piattaforma Windows.

L’attuale stack software di intelligenza artificiale per PC richiede agli sviluppatori di scegliere tra framework che offrono un ampio supporto hardware ma prestazioni inferiori, oppure percorsi ottimizzati che coprono solo determinati tipi di hardware o modelli e richiedono allo sviluppatore di gestire più percorsi. Il nuovo framework di inferenza di Windows ML è stato creato per risolvere queste sfide.

Windows ML si basa su ONNX Runtime e si connette perfettamente a un livello di esecuzione AI ottimizzato, fornito e gestito da ciascun produttore hardware. Per le GPU GeForce RTX, Windows ML utilizza automaticamente TensorRT per RTX, una libreria di inferenza ottimizzata per alte prestazioni e rapida implementazione. Rispetto a DirectML, TensorRT offre prestazioni oltre il 50% più veloci per i carichi di lavoro AI sui PC.

Windows ML offre anche vantaggi in termini di qualità di vita per gli sviluppatori. Può selezionare automaticamente l’hardware corretto per eseguire ciascuna funzionalità di intelligenza artificiale e scaricare il provider di esecuzione per quell’hardware, eliminando la necessità di impacchettare tali file nella propria app. Questo consente a NVIDIA di fornire agli utenti le più recenti ottimizzazioni delle prestazioni di TensorRT non appena sono pronte. E poiché è basato su ONNX Runtime, Windows ML funziona con qualsiasi modello ONNX.

Oltre a migliorare le prestazioni, TensorRT per RTX introduce anche ottimizzazioni che riducono significativamente le dimensioni dei file di libreria di 8 volte e include ottimizzazioni just-in-time su misura per le singole GPU. Questa tecnologia all’avanguardia sarà disponibile a giugno per tutte le GPU NVIDIA GeForce RTX; maggiori dettagli sono disponibili su developer.nvidia.com.

Le valutazioni delle prestazioni rivelano che con TensorRT, applicazioni come ComfyUI raggiungono un aumento di velocità doppio, mentre strumenti di editing video come DaVinci Resolve e Vegas Pro possono raggiungere un miglioramento fino al 60%.Questo promette di accelerare i flussi di lavoro basati sull’intelligenza artificiale, consentendo alle GPU RTX di massimizzare le loro capacità.

Le innovazioni di NVIDIA sono di vasta portata e alimentano oltre 150 SDK di intelligenza artificiale, con cinque nuove integrazioni ISV in arrivo questo mese, tra cui:

LM Studio (+30% di prestazioni con l’ultimo CUDA)
Topaz Video AI (GenAI Video accelerato CUDA)
Bilibili (effetti di trasmissione NVIDIA)
AutoDesk VRED (DLSS 4)
Fuga dal caos (DLSS 4)

Inoltre, NVIDIA annuncia nuovi NIM e AI Blueprint, che includono plugin per Project G-Assist e integrano piattaforme come Discord, Gemini, IFTTT, Twitch, Spotify e SignalRGB. Gli utenti sono inoltre incoraggiati a sviluppare plugin personalizzati per Project G-Assist visitando github.com/NVIDIA/G-Assist.

Fonte e immagini