NVIDIA TensorRT はデスクトップ PC 向けすべての RTX GPU で RTX パフォーマンスを 2 倍に向上します

NVIDIA は、GeForce RTX GPU 向けに TensorRT を正式にリリースしました。これは、特に AI アプリケーションにおいて、DirectML よりも最大 2 倍高速という驚異的なパフォーマンスの向上を約束するものです。

NVIDIAのTensorRTがRTX GPUのAIパフォーマンスを変革

NVIDIAは、エキサイティングな発表として、TensorRTをRTXプラットフォーム全体で利用可能にしました。この強力なAI推論エンジンにより、RTX GPUを使用するユーザーは大幅な速度向上を実感でき、アプリケーションをより効率的なパフォーマンスに最適化できます。

TensorRTの統合により、ユーザーは様々なAIアプリケーションにおいて、DirectMLと比較して最大2倍の計算性能向上が期待できます。特筆すべきは、TensorRTがWindows MLでもネイティブサポートされているため、互換性と効率性が向上していることです。さらに、TensorRT-LLMはWindowsプラットフォームで既に利用可能です。

今日のAI PCソフトウェアスタックでは、開発者は、幅広いハードウェアサポートを提供するもののパフォーマンスが低いフレームワークか、特定のハードウェアやモデルタイプのみをカバーし、開発者が複数のパスを管理する必要のある最適化されたパスのいずれかを選択する必要があります。新しいWindows ML推論フレームワークは、これらの課題を解決するために構築されました。

Windows MLはONNXランタイム上に構築されており、各ハードウェアメーカーが提供・保守する最適化されたAI実行レイヤーにシームレスに接続します。GeForce RTX GPUの場合、Windows MLは高性能と迅速な導入に最適化された推論ライブラリであるTensorRT for RTXを自動的に使用します。TensorRTは、DirectMLと比較して、PC上のAIワークロードにおいて50%以上の高速化を実現します。

Windows MLは開発者の作業効率向上にも貢献します。各AI機能の実行に最適なハードウェアを自動的に選択し、そのハードウェア向けの実行プロバイダーをダウンロードするため、これらのファイルをアプリにパッケージ化する手間が省けます。これにより、NVIDIAは最新のTensorRTパフォーマンス最適化を、ユーザーが準備でき次第、すぐに提供できます。また、Windows MLはONNXランタイム上に構築されているため、あらゆるONNXモデルで動作します。

TensorRT for RTXは、パフォーマンスの向上にとどまらず、ライブラリファイルサイズを8分の1に大幅に削減する最適化を導入し、個々のGPUに合わせたジャストインタイム最適化も備えています。この最先端技術は、6月にすべてのNVIDIA GeForce RTX GPU向けに展開される予定です。詳細はdeveloper.nvidia.comをご覧ください。

パフォーマンス評価の結果、TensorRT を使用することで、ComfyUI などのアプリケーションは 2 倍の速度向上を実現し、DaVinci Resolve や Vegas Pro などのビデオ編集ツールでは最大 60% の速度向上が見込まれます。これにより、AI 駆動型ワークフローが加速され、RTX GPU の能力を最大限に引き出すことが期待されます。

NVIDIA のイノベーションは広範囲に及び、150 を超える AI SDK に採用されています。今月は次のような 5 つの新しい ISV 統合が登場します。

LM Studio（最新のCUDAでパフォーマンスが30％向上）
Topaz Video AI (GenAI ビデオアクセラレーション CUDA)
Bilibili（NVIDIA ブロードキャストエフェクト）
オートデスク VRED (DLSS 4)
カオスエンスケープ（DLSS 4）

さらに、NVIDIAは、Discord、Gemini、IFTTT、Twitch、Spotify、SignalRGBなどのプラットフォームと連携するProject G-Assist用プラグインを備えた新しいNIMとAIブループリントを発表しました。ユーザーはgithub.com/NVIDIA/G-Assistにアクセスして、Project G-Assist用のカスタムプラグインを開発することもできます。

出典と画像