O “Chat With RTX” da NVIDIA é um chatbot de IA localizado para PCs Windows com tecnologia TensorRT-LLM e disponível gratuitamente em todas as GPUs RTX 30 e 40

Expandindo seu ecossistema de IA, a NVIDIA lançou o “Chat with RTX”, um chatbot para PCs Windows que é desenvolvido com TensorRT-LLM e está disponível gratuitamente nas mais recentes GPUs RTX.

NVIDIA quer substituir o ChatGPT por seu próprio chatbot AI “Chat With RTX” disponível localmente e disponível gratuitamente em GPUs RTX 30 e 40

A utilidade do chatbot “Chat with RTX” é muito simples, está desenhado como um sistema localizado o que significa que terá um chatbot GPT personalizado disponível o tempo todo no seu PC sem a necessidade de estar online. O bate-papo com RTX pode ser totalmente personalizado utilizando um conjunto de dados disponível localmente em seu PC e a melhor parte é que ele funciona em quase todas as GPUs RTX 40 e RTX 30.

Começando com os detalhes, o Chat with RTX aproveita o software TensorRT-LLM & Retrieval Augmented Generated (RAG) da NVIDIA, que foi anunciado para PCs Windows no ano passado , e aproveita ao máximo a aceleração RTX disponível no hardware RTX para oferecer a melhor experiência possível aos usuários. Mais uma vez, o aplicativo é compatível com todas as GPUs GeForce RTX 30 e 40 com pelo menos 8 GB de memória de vídeo.

Depois de baixar “Chat with RTX” gratuitamente, os usuários podem conectá-lo a um conjunto de dados local disponível no PC (.txt,. pdf,. doc,. docx,. xml) e conectá-lo a um grande modelo de linguagem como Mistral e Lhama 2. Você também pode adicionar URLs específicos, por exemplo, para vídeos do YouTube ou listas de reprodução inteiras, para aprimorar ainda mais os resultados da pesquisa do conjunto de dados. Após a conexão, os usuários podem usar o Chat With RTX da mesma forma que usariam o ChatGPT, executando consultas diferentes, mas os resultados gerados serão baseados inteiramente no conjunto de dados específico, fornecendo melhores respostas em comparação aos métodos online.

Ter uma GPU NVIDIA RTX compatível com TensorRT-LLM significa que você terá todos os seus dados e projetos disponíveis localmente, em vez de salvá-los na nuvem. Isso economizaria tempo e forneceria resultados mais precisos. RAG ou Retrieval Augamanted Generation é uma das técnicas usadas para tornar os resultados de IA mais rápidos, usando uma biblioteca localizada que pode ser preenchida com o conjunto de dados que você deseja que o LLM passe e, em seguida, aproveite os recursos de compreensão de linguagem desse LLM para fornecer informações precisas resultados.

NVIDIA traz aceleração de IA de até 5x para PCs com Windows 11 executando GPUs RTX 40 e RTX 30 1

A NVIDIA afirma um aumento de desempenho de 5x com TensorRT-LLM v0.6.0, que estará disponível ainda este mês. Além disso, também permitirá suporte para LLMs adicionais, como Mistral 7B e Nemotron 3 8B.

Você pode baixar o aplicativo “Chat with RTX” da NVIDIA aqui . É compatível com PCs com Windows 11 e Windows 10 e requer os drivers de GPU NVIDIA mais recentes para desempenho ideal.