AI エコシステムを拡大する NVIDIA は、TensorRT-LLM を搭載し、最新の RTX GPU で無料で利用できる Windows PC 用チャットボット「Chat with RTX」を導入しました。
NVIDIA は、ChatGPT を、RTX 30 & 40 GPU で無料で利用できるローカルで利用可能な独自の「Chat With RTX」AI チャットボットに置き換えたいと考えています
「Chat with RTX」チャットボットのユーティリティは非常にシンプルで、ローカライズされたシステムとして設計されています。つまり、オンラインに接続する必要がなく、PC 上でいつでもパーソナライズされた GPT チャットボットを利用できることになります。 RTX とのチャットは、PC 上でローカルに利用可能なデータセットを利用することで完全にパーソナライズできます。最も優れている点は、ほぼすべての RTX 40 および RTX 30 GPU で実行できることです。
詳細から説明すると、Chat with RTX は、昨年 Windows PC 向けに発表されたNVIDIA の TensorRT-LLM および Retrieval Augmented Generated (RAG) ソフトウェアを活用し、RTX ハードウェアで利用可能な RTX アクセラレーションを最大限に活用して、可能な限り最高のエクスペリエンスをユーザーに提供します。繰り返しになりますが、このアプリケーションは、少なくとも 8 GB のビデオ メモリを備えたすべての GeForce RTX 30 および 40 GPU でサポートされています。
「Chat with RTX」を無料でダウンロードした後、ユーザーはそれを PC 上で利用可能なローカル データセット (.txt、. pdf、. doc、. docx、. xml) に接続し、Mistral などの大規模な言語モデルに接続できます。 Llama 2。YouTube ビデオやプレイリスト全体などの特定の URL を追加して、データセットの検索結果をさらに強化することもできます。接続後、ユーザーは別のクエリを実行することで ChatGPT を使用するのと同じ方法で Chat With RTX を使用できますが、生成される結果は完全に特定のデータセットに基づくため、オンライン方法と比較して優れた応答が得られます。
TensorRT-LLM をサポートする NVIDIA RTX GPU を搭載しているということは、すべてのデータとプロジェクトをクラウドに保存するのではなく、ローカルで利用できることを意味します。これにより時間を節約し、より正確な結果が得られます。RAG (Retrieval Augamanted Generation) は、 LLM に実行させたいデータセットを詰め込んだローカライズされたライブラリを使用し、その LLM の言語の控えめな表現機能を利用して正確な結果を提供することで、AI の結果を高速化するために使用される手法の 1 つです。結果。
NVIDIA は、今月後半にリリースされる TensorRT-LLM v0.6.0 によりパフォーマンスが 5 倍向上すると述べています。さらに、Mistral 7B や Nemotron 3 8B などの追加の LLM のサポートも可能になります。
NVIDIA の「Chat with RTX」アプリケーションはここからダウンロードできます。 Windows 11 と Windows 10 PC の両方でサポートされており、最適なパフォーマンスを得るには最新の NVIDIA GPU ドライバーが必要です。
コメントを残す