“Chat With RTX” di NVIDIA è un chatbot AI localizzato per PC Windows basato su TensorRT-LLM e disponibile gratuitamente su tutte le GPU RTX 30 e 40

Espandendo il suo ecosistema AI, NVIDIA ha introdotto “Chat with RTX”, un chatbot per PC Windows basato su TensorRT-LLM e disponibile gratuitamente sulle ultime GPU RTX.

NVIDIA vuole sostituire ChatGPT con il proprio chatbot AI “Chat With RTX” disponibile localmente, disponibile gratuitamente sulle GPU RTX 30 e 40

L’utilità del chatbot “Chat with RTX” è molto semplice, è concepito come un sistema localizzato, il che significa che avrai sempre a tua disposizione un chatbot GPT personalizzato sul tuo PC senza la necessità di andare online. La chat con RTX può essere completamente personalizzata utilizzando un set di dati disponibile localmente sul tuo PC e la parte migliore è che funziona su quasi tutte le GPU RTX 40 e RTX 30.

Partendo dai dettagli, Chat with RTX sfrutta il software TensorRT-LLM e Retrieval Augmented Generated (RAG) di NVIDIA, annunciato per i PC Windows lo scorso anno , e sfrutta appieno l’accelerazione RTX disponibile sull’hardware RTX per offrire agli utenti la migliore esperienza possibile. Ancora una volta, l’applicazione è supportata su tutte le GPU GeForce RTX 30 e 40 con almeno 8 GB di memoria video.

Dopo aver scaricato gratuitamente “Chat with RTX”, gli utenti possono collegarlo a un dataset locale disponibile sul PC (.txt,. pdf,. doc,. docx,. xml) e collegarlo a un modello linguistico di grandi dimensioni come Mistral e Lama 2. Puoi anche aggiungere URL specifici, ad esempio per video di YouTube o intere playlist per migliorare ulteriormente i risultati della ricerca del set di dati. Dopo la connessione, gli utenti possono quindi utilizzare Chat With RTX nello stesso modo in cui utilizzerebbero ChatGPT eseguendo query diverse, ma i risultati generati saranno basati interamente sul set di dati specifico, fornendo risposte migliori rispetto ai metodi online.

Avere una GPU NVIDIA RTX che supporta TensorRT-LLM significa che avrai tutti i tuoi dati e progetti disponibili localmente anziché salvarli nel cloud. Ciò consentirebbe di risparmiare tempo e fornire risultati più precisi. RAG o Retrieval Augamanted Generation è una delle tecniche utilizzate per rendere più rapidi i risultati dell’intelligenza artificiale utilizzando una libreria localizzata che può essere riempita con il set di dati che si desidera che LLM passi e quindi sfruttare le capacità di comprensione del linguaggio di quel LLM per fornire informazioni accurate risultati.

NVIDIA offre un'accelerazione AI fino a 5 volte superiore con i PC Windows 11 che eseguono GPU RTX 40 e RTX 30 1

NVIDIA dichiara un aumento delle prestazioni di 5 volte con TensorRT-LLM v0.6.0 che sarà disponibile alla fine di questo mese. Inoltre, consentirà anche il supporto per LLM aggiuntivi come Mistral 7B e Nemotron 3 8B.

Puoi scaricare l’applicazione “Chat with RTX” di NVIDIA qui . È supportato sia dai PC Windows 11 che Windows 10 e richiede i più recenti driver GPU NVIDIA per prestazioni ottimali.