NVIDIA TensorRT zwiększa wydajność RTX o 2x na wszystkich procesorach graficznych RTX dla komputerów stacjonarnych

Firma NVIDIA oficjalnie wprowadziła technologię TensorRT dla swoich procesorów graficznych GeForce RTX, obiecując znaczącą poprawę wydajności — nawet 2 razy szybszą niż DirectML — zwłaszcza w przypadku aplikacji wykorzystujących sztuczną inteligencję.

TensorRT firmy NVIDIA zmienia wydajność sztucznej inteligencji na procesorach graficznych RTX

W ekscytującym ogłoszeniu NVIDIA udostępniła TensorRT na swojej platformie RTX. Ten potężny silnik wnioskowania AI pozwala konsumentom korzystającym z procesorów graficznych RTX doświadczyć znacznych ulepszeń prędkości, optymalizując swoje aplikacje pod kątem wydajniejszej wydajności.

Dzięki integracji TensorRT użytkownicy mogą oczekiwać wzrostu mocy obliczeniowej nawet o 2x w różnych aplikacjach AI w porównaniu z DirectML. Warto zauważyć, że TensorRT jest również natywnie obsługiwany przez Windows ML, co zwiększa kompatybilność i wydajność. Ponadto TensorRT-LLM jest już dostępny na platformie Windows.

Dzisiejszy stos oprogramowania AI PC wymaga od deweloperów wyboru między frameworkami, które mają szerokie wsparcie sprzętowe, ale niższą wydajność, lub zoptymalizowanymi ścieżkami, które obejmują tylko określone typy sprzętu lub modeli i wymagają od dewelopera utrzymywania wielu ścieżek. Nowy framework wnioskowania Windows ML został stworzony, aby rozwiązać te wyzwania.

Windows ML jest zbudowany na ONNX Runtime i bezproblemowo łączy się z zoptymalizowaną warstwą wykonawczą AI dostarczaną i utrzymywaną przez każdego producenta sprzętu. W przypadku procesorów graficznych GeForce RTX Windows ML automatycznie używa TensorRT dla RTX — biblioteki wnioskowania zoptymalizowanej pod kątem wysokiej wydajności i szybkiego wdrażania. W porównaniu z DirectML, TensorRT zapewnia ponad 50% szybszą wydajność obciążeń AI na komputerach PC.

Windows ML zapewnia również korzyści w zakresie jakości życia dla deweloperów. Może automatycznie wybierać odpowiedni sprzęt do uruchomienia każdej funkcji AI i pobierać dostawcę wykonania dla tego sprzętu, eliminując potrzebę pakowania tych plików do aplikacji. Dzięki temu NVIDIA może dostarczać użytkownikom najnowsze optymalizacje wydajności TensorRT, gdy tylko będą gotowi. A ponieważ jest zbudowany na ONNX Runtime, Windows ML działa z dowolnym modelem ONNX.

Oprócz zwiększenia wydajności TensorRT dla RTX wprowadza również optymalizacje, które znacznie zmniejszają rozmiary plików biblioteki o 8x i obejmują optymalizacje Just-in-time dostosowane do poszczególnych GPU. Ta najnowocześniejsza technologia ma zostać wprowadzona w czerwcu dla wszystkich GPU NVIDIA GeForce RTX, a więcej szczegółów można znaleźć na stronie developer.nvidia.com.

Oceny wydajności ujawniają, że dzięki TensorRT aplikacje takie jak ComfyUI osiągają 2-krotny wzrost prędkości, podczas gdy narzędzia do edycji wideo takie jak DaVinci Resolve i Vegas Pro mogą osiągnąć nawet 60% poprawę prędkości. Obiecuje to przyspieszenie przepływów pracy opartych na sztucznej inteligencji, umożliwiając procesorom graficznym RTX pełne zmaksymalizowanie ich możliwości.

Innowacje firmy NVIDIA mają dalekosiężny zasięg i obejmują ponad 150 zestawów SDK AI, a w tym miesiącu pojawi się pięć nowych integracji z niezależnymi dostawcami oprogramowania, w tym:

LM Studio (+30% wydajności z najnowszą technologią CUDA)
Topaz Video AI (przyspieszona technologia CUDA GenAI Video)
Bilibili (Efekty transmisji NVIDIA)
AutoDesk VRED (DLSS 4)
Ucieczka z chaosu (DLSS 4)

Ponadto NVIDIA ogłasza nowe NIM i AI Blueprints, które zawierają wtyczki dla Project G-Assist, integrując platformy takie jak Discord, Gemini, IFTTT, Twitch, Spotify i SignalRGB. Użytkownicy są również zachęcani do tworzenia niestandardowych wtyczek dla Project G-Assist, odwiedzając stronę github.com/NVIDIA/G-Assist.