« Chat With RTX » de NVIDIA est un chatbot IA localisé pour les PC Windows alimenté par TensorRT-LLM et disponible gratuitement sur tous les GPU RTX 30 et 40

En élargissant son écosystème d’IA, NVIDIA a introduit « Chat with RTX », un chatbot pour PC Windows alimenté par TensorRT-LLM et disponible gratuitement sur les derniers GPU RTX.

NVIDIA souhaite remplacer ChatGPT par son propre chatbot AI « Chat with RTX » disponible localement, disponible gratuitement sur les GPU RTX 30 et 40

L’utilité du chatbot « Chat with RTX » est très simple, il est conçu comme un système localisé ce qui signifie que vous aurez un chatbot GPT personnalisé à votre disposition à tout moment sur votre PC sans avoir besoin de vous connecter. Le chat avec RTX peut être entièrement personnalisé en utilisant un ensemble de données disponible localement sur votre PC et le meilleur, c’est qu’il fonctionne sur presque tous les GPU RTX 40 et RTX 30.

En commençant par les détails, Chat with RTX exploite le logiciel TensorRT-LLM & Retrieval Augmented Generated (RAG) de NVIDIA qui a été annoncé pour les PC Windows l’année dernière et tire pleinement parti de l’accélération RTX disponible sur le matériel RTX pour offrir la meilleure expérience possible aux utilisateurs. Encore une fois, l’application est prise en charge sur tous les GPU GeForce RTX 30 & 40 avec au moins 8 Go de mémoire vidéo.

Après avoir téléchargé gratuitement « Chat with RTX », les utilisateurs peuvent le connecter à un ensemble de données local disponible sur le PC (.txt,. pdf,. doc,. docx,. xml) et le connecter à un grand modèle de langage tel que Mistral et Lama 2. Vous pouvez également ajouter des URL spécifiques, par exemple pour des vidéos YouTube ou des listes de lecture entières, afin d’améliorer davantage les résultats de recherche de l’ensemble de données. Après la connexion, les utilisateurs peuvent ensuite utiliser Chat With RTX de la même manière qu’ils utiliseraient ChatGPT en exécutant différentes requêtes, mais les résultats générés seront entièrement basés sur l’ensemble de données spécifique, vous offrant de meilleures réponses par rapport aux méthodes en ligne.

Avoir un GPU NVIDIA RTX prenant en charge TensorRT-LLM signifie que vous aurez toutes vos données et projets disponibles localement plutôt que de les enregistrer dans le cloud. Cela permettrait de gagner du temps et d’obtenir des résultats plus précis. RAG ou Retrieval Augamanted Generation est l’une des techniques utilisées pour accélérer les résultats de l’IA en utilisant une bibliothèque localisée qui peut être remplie avec l’ensemble de données que vous souhaitez que le LLM parcoure, puis exploiter les capacités de compréhension du langage de ce LLM pour vous fournir des informations précises. résultats.

NVIDIA apporte une accélération de l'IA jusqu'à 5x avec les PC Windows 11 exécutant des GPU RTX 40 et RTX 30 1

NVIDIA annonce une amélioration des performances 5x avec TensorRT-LLM v0.6.0 qui sera disponible plus tard ce mois-ci. En outre, il permettra également la prise en charge de LLM supplémentaires tels que Mistral 7B et Nemotron 3 8B.

Vous pouvez télécharger l’application « Chat with RTX » de NVIDIA ici . Il est pris en charge par les PC Windows 11 et Windows 10 et nécessite les derniers pilotes GPU NVIDIA pour des performances optimales.