NVIDIA TensorRT aprimora o desempenho RTX em 2x em todas as GPUs RTX para PCs de mesa

A NVIDIA lançou oficialmente o TensorRT para suas GPUs GeForce RTX, prometendo uma melhoria de desempenho notável — até 2x mais rápido que o DirectML — especificamente para aplicativos de IA.

TensorRT da NVIDIA transforma o desempenho da IA em GPUs RTX

Em um anúncio empolgante, a NVIDIA disponibilizou o TensorRT em sua plataforma RTX. Este poderoso mecanismo de inferência de IA permite que consumidores que utilizam GPUs RTX experimentem melhorias significativas de velocidade, otimizando seus aplicativos para um desempenho mais eficiente.

Com a integração do TensorRT, os usuários podem esperar melhorias computacionais de até 2x em diversas aplicações de IA em comparação com o DirectML. Notavelmente, o TensorRT também conta com suporte nativo do Windows ML, aumentando a compatibilidade e a eficiência. Além disso, o TensorRT-LLM já está disponível na plataforma Windows.

A pilha de software de IA para PC atual exige que os desenvolvedores escolham entre estruturas com amplo suporte de hardware, mas com desempenho inferior, ou caminhos otimizados que abrangem apenas determinados tipos de hardware ou modelo e exigem que o desenvolvedor mantenha múltiplos caminhos. A nova estrutura de inferência de ML do Windows foi criada para solucionar esses desafios.

O Windows ML é desenvolvido com base no ONNX Runtime e se conecta perfeitamente a uma camada de execução de IA otimizada, fornecida e mantida por cada fabricante de hardware. Para GPUs GeForce RTX, o Windows ML usa automaticamente o TensorRT para RTX — uma biblioteca de inferência otimizada para alto desempenho e implantação rápida. Comparado ao DirectML, o TensorRT oferece desempenho mais de 50% mais rápido para cargas de trabalho de IA em PCs.

O Windows ML também oferece benefícios de qualidade de vida para o desenvolvedor. Ele pode selecionar automaticamente o hardware certo para executar cada recurso de IA e baixar o provedor de execução para esse hardware, eliminando a necessidade de empacotar esses arquivos no aplicativo. Isso permite que a NVIDIA forneça as otimizações de desempenho mais recentes do TensorRT aos usuários assim que estiverem prontos. E, por ser baseado no ONNX Runtime, o Windows ML funciona com qualquer modelo ONNX.

Além de aprimorar o desempenho, o TensorRT para RTX também apresenta otimizações que reduzem significativamente o tamanho dos arquivos de biblioteca em 8x e inclui otimizações just-in-time personalizadas para GPUs individuais. Essa tecnologia de ponta será lançada em junho para todas as GPUs NVIDIA GeForce RTX, com mais detalhes disponíveis em developer.nvidia.com.

Avaliações de desempenho revelam que, com o TensorRT, aplicativos como o ComfyUI alcançam um aumento de velocidade de até 2x, enquanto ferramentas de edição de vídeo como DaVinci Resolve e Vegas Pro podem apresentar uma melhoria de até 60% na velocidade. Isso promete acelerar fluxos de trabalho baseados em IA, permitindo que as GPUs RTX maximizem seus recursos ao máximo.

As inovações da NVIDIA são de longo alcance, impulsionando mais de 150 SDKs de IA, com cinco novas integrações de ISV chegando este mês, que incluem:

LM Studio (+30% de desempenho com o CUDA mais recente)
Topaz Video AI (GenAI Video acelerado por CUDA)
Bilibili (Efeitos de transmissão NVIDIA)
AutoDesk VRED (DLSS 4)
Chaos Enscape (DLSS 4)

Além disso, a NVIDIA está anunciando novos NIMs e AI Blueprints, que incluem plugins para o Projeto G-Assist, integrando plataformas como Discord, Gemini, IFTTT, Twitch, Spotify e SignalRGB. Os usuários também são incentivados a desenvolver plugins personalizados para o Projeto G-Assist acessando github.com/NVIDIA/G-Assist.

Fonte e Imagens