NVIDIA 的「Chat With RTX」是一款適用於 Windows PC 的本地化 AI 聊天機器人，由 TensorRT-LLM 提供支持，並可在所有 RTX 30 和 40 GPU 上免費使用

為了擴展其 AI 生態系統，NVIDIA 推出了“Chat with RTX”，這是一款適用於 Windows PC 的聊天機器人，由 TensorRT-LLM 提供支持，並可在最新的 RTX GPU 上免費使用。

NVIDIA 希望用自己的本地可用「Chat With RTX」AI 聊天機器人取代 ChatGPT，該機器人可在 RTX 30 和 40 GPU 上免費使用

「Chat with RTX」聊天機器人的實用程式非常簡單，它被設計為本地化系統，這意味著您將在您的 PC 上隨時擁有個人化的 GPT 聊天機器人，而無需上網。透過利用 PC 上本地可用的資料集，可以完全個人化與 RTX 聊天，最好的部分是它可以在幾乎所有 RTX 40 和 RTX 30 GPU 上運行。

從細節開始，Chat with RTX 利用了 NVIDIA 的 TensorRT-LLM 和檢索增強生成 (RAG) 軟體（該軟體去年針對 Windows PC 推出），並充分利用RTX 硬體上提供的RTX 加速功能，為用戶提供最佳體驗。該應用程式再次受所有具有至少 8 GB 視訊記憶體的 GeForce RTX 30 和 40 GPU 支援。

免費下載「Chat with RTX」後，使用者可以將其連接到PC上可用的本機資料集（.txt、.pdf、.doc、.docx、.xml），並將其連接到大型語言模型，例如Mistral和Llama 2。您還可以添加特定的 URL，例如 YouTube 影片或整個播放列表，以進一步增強資料集搜尋結果。連接後，用戶可以像使用 ChatGPT 一樣透過執行不同的查詢來使用 Chat With RTX，但產生的結果將完全基於特定資料集，與線上方法相比，為您提供更好的回應。

擁有支援 TensorRT-LLM 的 NVIDIA RTX GPU 意味著您可以在本地使用所有資料和項目，而不是將它們保存在雲端。這將節省時間並提供更精確的結果。RAG 或檢索增強生成是透過使用本地化庫來更快地獲得 AI 結果的技術之一，該庫可以填充您希望 LLM 經歷的資料集，然後利用該 LLM 的語言理解功能為您提供準確的結果結果。