NVIDIA は最近、Google の最先端の Gemma モデルを強化する中で、AI を注入した RTX GPU を使用して業界標準の LLM を最適化する開発を加速しています。
NVIDIA が TensorRT-LLM と複数のソフトウェア リソースを強化し、AI と RTX GPU でコスト効率の高いパフォーマンスを提供
[プレス リリース]: NVIDIA は、Google と協力し、本日、Gemma のすべての NVIDIA AI プラットフォームにわたる最適化を開始しました。Gemma は、どこでも実行できる、Google の最先端の新しい軽量 20 億パラメータと 70 億パラメータのオープン言語モデルです。コストを削減し、ドメイン固有のユースケース向けの革新的な作業を迅速化します。
両社のチームは、NVIDIA 上で実行する際に、大規模言語モデル推論を最適化するオープンソース ライブラリである NVIDIA TensorRT-LLM を使用して、Gemma (Gemini モデルの作成に使用したのと同じ研究とテクノロジーから構築) のパフォーマンスを加速するために緊密に連携しました。データセンター、クラウド、および NVIDIA RTX GPU を搭載した PC の GPU。
これにより、開発者は世界中の高性能 AI PC で利用可能な 1 億以上の NVIDIA RTX GPU のインストール ベースをターゲットにすることができます。
開発者は、クラウド内の NVIDIA GPU 上でも Gemma を実行できます。これには、H100 Tensor コア GPU をベースとした Google Cloud の A3 インスタンスや、間もなく 4.8 テラバイト/秒の 141 GB の HBM3e メモリを搭載する NVIDIA の H200 Tensor コア GPU が含まれます。Google はこれを導入します。年。
企業開発者はさらに、NeMo フレームワークと TensorRT-LLM を備えた NVIDIA AI Enterprise を含む、NVIDIA の豊富なツールのエコシステムを利用して、Gemma を微調整し、最適化されたモデルを運用アプリケーションにデプロイできます。
Gemma が RTX とチャットしに来ています
Gemma のサポートが間もなく追加されるChat with RTXは、検索拡張生成と TensorRT-LLM ソフトウェアを使用してローカルの RTX 搭載 Windows PC 上で生成 AI 機能をユーザーに提供する NVIDIA 技術デモです。 Chat with RTX を使用すると、ユーザーは PC 上のローカル ファイルを大規模な言語モデルに簡単に接続することで、データを使用してチャットボットをカスタマイズできます。
ニュースソース: NVIDIA ブログ
コメントを残す