NVIDIA は最近、最新の GeForce RTX 5090 GPU を発表しました。これは、DeepSeek R1 モデルの推論タスクにおいて AMD の RX 7900 XTX を大幅に上回る性能を発揮します。この目覚ましいパフォーマンスの飛躍は、主に NVIDIA のアーキテクチャに統合された新しい第 5 世代 Tensor コアによるものです。
RTX GPU による DeepSeek 推論モデルへの効率的なアクセス
消費者向け GPU は進化し、ローカル システムで高度な大規模言語モデル (LLM) を実行するための強力なツールになりました。NVIDIA と AMD はどちらも、これらのモデルの使いやすさを向上させるためにハードウェアを進化させています。最近、AMD は DeepSeek R1 LLM を使用した RDNA 3 フラッグシップ GPU の機能を強調しました。これに対して、NVIDIA は最新の RTX Blackwell シリーズのベンチマーク結果を公開し、GeForce RTX 5090 が競合他社に対して決定的な優位性を獲得したことを確認しました。
パフォーマンス メトリックから、GeForce RTX 5090 は Distill Qwen 7b や Distill Llama 8b などのモデルで 1 秒あたり最大 200 トークンを処理できることがわかります。この出力は AMD の RX 7900 XTX のほぼ 2 倍のパフォーマンスであり、AI パフォーマンスにおける NVIDIA の優位性を強調しています。包括的な「RTX on AI」サポートの導入により、エッジ AI 機能がコンシューマー グレードの PC で一般的になることが期待できます。
NVIDIA GPU で DeepSeek R1 にアクセスする
NVIDIA は、RTX GPU で DeepSeek R1 を活用したいと考えている愛好家のためにアクセスを容易にしました。同社は詳細なブログを公開し、ユーザーにセットアップの手順を案内しています。これにより、オンライン チャットボットの操作と同じくらい簡単になっています。最近の発表から重要なポイントを次に示します。
開発者がこれらの機能を安全に実験し、独自の専用エージェントを構築できるように、6, 710 億パラメータの DeepSeek-R1 モデルが、build.nvidia.comで NVIDIA NIM マイクロサービス プレビューとして利用できるようになりました。DeepSeek-R1 NIM マイクロサービスは、単一の NVIDIA HGX H200 システムで 1 秒あたり最大 3, 872 トークンを配信できます。
開発者は、 NVIDIA AI Enterpriseソフトウェア プラットフォームの一部であるダウンロード可能な NIM マイクロサービスとしてまもなく利用可能になる予定のアプリケーション プログラミング インターフェイス (API) をテストおよび実験できます。
DeepSeek-R1 NIM マイクロサービスは、業界標準の API をサポートすることで導入を簡素化します。企業は、好みの高速コンピューティング インフラストラクチャで NIM マイクロサービスを実行することで、セキュリティとデータのプライバシーを最大限に高めることができます。
– NVIDIA
この革新的なアプローチにより、開発者や愛好家はローカル ビルドを使用して AI モデルを試すことができます。これらのモデルをローカルで実行すると、システムのハードウェア機能に応じてパフォーマンスが向上するだけでなく、データ セキュリティが強化され、プロセス全体を通じて機密情報が保護されます。
NVIDIA の製品についてさらに詳しく知りたい方は、次のリンクから詳細情報をご覧ください。
詳細と画像についてはソースをご覧ください。
関連記事:
クアルコムCEO「インテルのチップ生産はまだ不足しているが、チームブルーがチップを供給する可能性は残っている」
18:43
HWiNFO アップデート: Nova Lake-S と次期 AMD プラットフォームのサポート、Zen 6 向け AMD 900 シリーズの可能性も示唆
18:38
ASUS、ROG Strix X870E-H 初音ミクエディションを発表。価格は599ドル。標準モデルより50%のプレミアム
18:34
コメントを残す