使用 Open WebUI 在计算机上轻松运行本地 AI 语言模型

使用 Open WebUI 在计算机上轻松运行本地 AI 语言模型

Open WebUI 是一个功能强大、自托管且开源的平台,它使用户能够直接从自己的机器上运行 AI 语言模型,从而确保完全掌控数据。它兼容各种本地模型,包括 Ollama,同时还支持与 OpenAI 兼容的 API。安装灵活性是其关键特性,因为 Open WebUI 可以使用 Docker、Python 或 Kubernetes 进行设置。在以下指南中,我们将逐步介绍在个人计算机上安装 Open WebUI 的全面流程。

使用 Open WebUI 的好处

Open WebUI提供了一个直观灵活的 AI 应用平台,可根据您的特定需求进行定制。它支持多种 AI 模型,兼容所有主流操作系统,并拥有类似 ChatGPT 的用户友好界面。其主要功能包括 Markdown、LaTeX、插件集成以及用于高效内容存储的高级内存系统。

这款多功能工具允许用户连接插件、管理多个聊天线程并保存提示以供将来参考。作为一项开源计划,Open WebUI 依靠社区驱动的增强功能蓬勃发展,促进了快速的演进升级和新功能的开发。

安装 Open WebUI

要通过 Docker 开始使用 Open WebUI,首先需要建立一个项目目录并导航到该目录:

mkdir openwebuicd openwebui

接下来,使用您喜欢的文本编辑器(例如记事本)创建一个名为“docker-compose.yml”的新文件:

nano docker-compose.yml

在新建的“docker-compose.yml”文件中插入以下配置:

services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" environment: - OLLAMA_USE_GPU=false volumes: - ollama_data:/root/.ollama restart: unless-stopped openwebui: image: ghcr.io/open-webui/open-webui:main container_name: openwebui ports: - "3000:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 depends_on: - ollama volumes: - open-webui:/app/backend/data restart: unless-stopped volumes: open-webui: ollama_data:

此配置初始化两个基本服务:ollamaOpenWebUI。ollama服务使用 ollama/ollama 容器,映射到端口 11434,禁用 GPU 加速,并将数据保存在 ollama_data 卷中。同时,OpenWebUI服务访问 open-webui 容器,将流量从端口 3000 路由到端口 8080,同时依赖 ollama 服务进行操作。除非手动停止,否则这两个服务都包含自动重启选项,命名卷可确保数据持久化。

保存Docker Compose配置后,使用以下命令启动Docker服务:

docker compose up -d

运行 Docker Compose Up D

访问 Open WebUI

容器启动并运行后,打开您常用的 Web 浏览器并导航至http://localhost:3000。此操作将直接从您的计算机加载 Open WebUI 界面。要开始设置过程,只需单击“开始”按钮即可。

打开 Webui 开始使用

接下来,输入您的姓名电子邮件密码,然后单击创建管理员帐户按钮来建立您的管理员帐户。

创建管理员帐户

现在您的帐户已创建,您可以登录以访问 Open WebUI 仪表板。

打开 Webui 设置

使用 Ollama 安装 AI 模型

虽然 Open WebUI 提供了全面的界面,但它需要您至少安装一个本地 AI 模型才能正常运行。幸运的是,使用 Ollama 简化了这一过程。您可以根据需求和可用的系统资源,从各种模型中进行选择,包括 llama3、mistral、gemma 或 vicuna。

为了演示,我们将安装gemma:2b,它以比大型模型更高效的资源利用率而闻名。要启动安装,请点击您的个人资料图标,然后选择“管理面板”选项以访问管理仪表板。

访问管理面板

在仪表板中,找到并单击右上角的下载图标即可开始下载模型。

下载模型

指定模型名称后,单击下载按钮继续。

从 Ollama 拉取模型

成功下载模型后,将显示确认成功消息:

模型已成功拉出

此时,您可以从 Open WebUI 界面中选择一个模型并开始使用它进行查询。

选择型号

利用开放的 WebUI

选择模型后,您就可以开始提出问题了。例如,当我问“什么是 Docker Compose?”时,Open WebUI 提供了以下有价值的答案:

开始使用 Openwebui

想要发起新的对话,且不保留之前讨论的内容,只需点击左侧菜单中的“新建聊天”即可。当您想切换到完全不同的主题,且不受之前讨论内容的影响时,此功能尤其有用。

开始新聊天

搜索功能可让您在已保存的聊天记录中查找过去的对话或特定关键词。只需输入一个词或短语,系统就会筛选结果,让您快速回顾之前的见解或提示。

搜索聊天
创建搜索笔记

工作区提供了一个结构化的环境,用于无缝管理各种项目,避免混淆。这对于编码、写作或任何长期工作都特别有用。Open WebUI 包含以下选项卡:

  • 模型选项卡– 发现和下载社区模型或预设,从外部来源导入模型,以及管理已安装的模型。
  • 知识标签——浏览社区知识包或导入您的文件(PDF、文本、CSV)以供 AI 在回复中使用。
  • 提示选项卡– 探索社区模板,导入现有提示,并将其应用于不同的聊天。
  • 工具选项卡– 查找或导入代码执行器、抓取器或摘要器等工具,以便在聊天中直接用于自动化或专门任务。
工作区 Openwebui

聊天部分显示您与人工智能的对话历史记录,允许您重新打开以前的聊天或删除不再需要的聊天

聊天记录

Open WebUI 中的聊天控件

聊天控制面板提供调整 AI 对话风格和响应的选项。您可以设置系统提示来影响 AI 的语气或行为,以及自定义高级参数,例如流式聊天回复、区块大小、函数调用、种子、停止顺序、温度和推理工作量。您可以自由自定义这些参数,也可以保留其默认设置以获得标准性能。

聊天控制

通过单击个人资料图标,您可以访问用户菜单,其中包括设置、存档聊天、游乐场、管理面板、文档、发行说明、键盘快捷键、注销和查看活跃用户的选项。

访问用户菜单

结论

虽然设置 Open WebUI 需要投入一些初始时间,但其优势远超投入。该平台允许用户自由地完全控制其数据、选择偏好的模型并个性化界面,无需依赖第三方服务器。安装完成后,您可以完全离线操作模型,就像在终端中使用 Gemini CLI AI Agent 一样。

来源和图片

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注