不可否认，像 ChatGPT 这样的流行聊天机器人的实用性正在不断提升；它们使我们每天都能够编写代码、分析问题并制定解决方案。然而，有些情况下需要在不依赖互联网连接的情况下访问 AI，或者在外部服务器上存储数据时出现隐私问题。幸运的是，您可以创建自己的离线 AI 聊天机器人，该机器人完全在本地计算机上运行。
了解离线人工智能聊天机器人
离线 AI 聊天机器人是一种驻留在您计算机上的人工智能模型，利用您的硬件资源（例如 CPU（处理器）、GPU（显卡）和 RAM（内存））来实时生成和处理响应。
如今，本地 AI 模型层出不穷，而且新的模型层出不穷。许多模型都建立在大型科技公司提供的开源基础之上，例如 Meta (Llama)、Google (Gemma)、Microsoft (Phi) 和 Mistral (Codestral、Mistral_7B)。如需全面比较这些模型，请参阅Open LLM 排行榜。
不同的模型适用于不同的任务。有些模型专门针对特定功能，如编码、创意写作和角色扮演模拟，而另一些模型则具有更广泛的功能。它们在内容审核方面也存在差异——有些模型严格过滤不适合工作场合 (NSFW) 的内容，而另一些模型则不回避更丰富多彩的语言。
选择本地 AI 模型时，请考虑其大小。理想情况下，模型应适合您的 GPU 的 VRAM（视频 RAM）。例如，如果您拥有具有 8 GB VRAM 的显卡，则可以流畅地运行需要高达 7 GB 的模型，而 10 GB 的模型则太笨重了。一般来说，较大的模型功能更强大，但需要更强大的硬件。
举例来说，我使用的是Qwen2.5 Coder 14B 模型，它相对较轻（8.37 GB），具有商业可行性，并且就其大小而言，编码能力令人印象深刻。我鼓励尝试各种模型，以找到最适合您需求的模型。与r/LocalLLaMA等社区互动可以提供有价值的见解和持续更新。
设置你的离线 AI 聊天机器人
建立离线人工智能聊天机器人涉及两个关键要素：本地人工智能模型和用户友好的交互界面。各种软件平台无缝地提供这两种选择。
我最推荐的是 Jan.ai，这是一款完全开源的工具，提供清晰、用户友好的界面，让人想起流行的聊天应用程序。或者，LM Studio 也可以考虑；虽然它通常能快速采用尖端模型，但它不会公开其源代码。
安装 Jan.ai 和下载初始模型的步骤
首先访问Jan.ai 网站下载与您的系统兼容的版本。安装过程很简单：执行下载的安装程序并按照提供的提示进行操作。
安装后，启动 Jan.ai。选择适合您需求且与您的硬件兼容的模型（Jan.ai 阐明了兼容性），然后单击下载。请注意，下载和随后的模型安装可能需要一些时间，受您的互联网速度影响。
在开始任何对话之前，如果您拥有兼容的 NVIDIA 显卡，请在设置中启用GPU 加速以确保最佳性能。此步骤可以大大提高模型的响应速度。您可能需要根据在此过程中收到的提示更新NVIDIA 驱动程序和CUDA 工具包。
与本地 AI 聊天机器人互动
下载模型后，选择位于左上角侧边栏的聊天按钮开始聊天。将创建一个新线程，自动选择您下载的模型。如果已下载多个模型，只需单击模型名称即可从可用选项中进行选择。
要向离线 AI 聊天机器人提出第一个问题，请在“问我任何问题”字段中输入您的消息，然后点击Enter。由于模型开始运行，初始响应可能需要更长时间，但后续回复应该会及时到达。
作为最佳实践，我建议每次想要处理不同的主题或任务时都发起一个新话题。这种方法可以促进有组织的对话，有助于确保 AI 不会混淆不同的主题。
定制本地人工智能聊天机器人的行为
Jan.ai 的突出功能之一是能够自定义 AI 聊天机器人对查询的反应。自定义主要通过总体说明和特定技术参数进行。
首先，为您的 AI 助手提供基本的行为准则。导航到模型名称旁边的“设置” ，然后单击“助手”选项卡以访问“说明”字段。
在此字段中，您可以输入有关希望 AI 如何互动的说明。示例包括“充当编程导师，用简单的术语解释概念”或“像创意写作教练一样回应，对草稿提供建设性反馈”。
除了基本指令之外，您还可以调整多个技术参数来优化 AI 生成响应的方式。右侧边栏中的“模型”选项卡包含关键设置，例如：
- 温度：此设置影响 AI 的创造力。较低的值（0.0 – 0.5）会产生更可预测且更集中的响应，而较高的值（0.8 – 2.0）可以提供富有创意但偶尔不集中的输出。
- 最大标记数：此参数决定 AI 响应的长度。增加值将产生更长、更全面的答案，而降低值将使响应保持简洁。
- 上下文长度：这控制着 AI 能够记住和引用多少对话。更长的上下文有利于进行详细的讨论，但可能会影响性能速度。
重要的是，您可以创建具有不同配置的不同聊天线程 – 例如，高温设置用于富有想象力的写作或低温设置用于精确的技术查询。不要犹豫，尝试找到最适合您的设置！
有了功能强大的模型为您的离线 AI 聊天机器人提供支持，它可以执行的任务范围非常广泛。就我个人而言，我利用 AI 聊天机器人从头开始构建了一个现代 Web 应用程序，展示了从写作和编程到分析评估和创造性探索的可能性是无限的。
所有图片和截图均归功于 David Morelo。
常见问题
1.运行离线AI聊天机器人的硬件要求是什么？
您的系统应具有不错的 CPU、至少 8 GB 的 RAM 和兼容的 GPU，以确保运行顺畅。AI 模型大小还应适合您的 GPU 的 VRAM，以实现最佳性能。
2.我可以同时使用多个AI模型吗？
是的，您可以下载并安装多个 AI 模型。建议为不同的模型创建单独的线程，以保持对话井然有序且与上下文相关。
3.如何确保我的AI聊天机器人性能达到最佳？
如果您使用的是 NVIDIA 显卡，请确保在设置中启用 GPU 加速，并保持驱动程序更新。此外，请监控配置中的温度和最大令牌等因素，以最大限度地提高性能。
发表回复 ▼