Foundry Local AI 入门:分步指南

Foundry Local AI 入门:分步指南

借助微软创新的 Foundry Local AI 工具,在 Windows PC 上轻松驾驭语言学习模型 (LLM) 的强大功能变得更加简单。最棒的是,它是免费的!这款强大的解决方案为探索和实验各种 AI 模型打开了大门。

了解 Foundry 本地 AI

微软的 Foundry Local 是一个突破性的平台,主要为希望直接在其系统上部署 LLM 而无需互联网连接的开发者量身定制。虽然它可能无法复制 ChatGPT 或 Copilot 等热门云 AI 服务提供的体验,但它为测试各种 AI 模型提供了绝佳的途径。

由于它仍处于公开预览阶段,请记住该工具相对基础,随着开发的进展,预计会有增强功能和新功能。

Foundry Local AI 的先决条件

在开始安装之前,请确保您的 Windows PC 已配置运行 Foundry Local AI。虽然微软建议使用高端 Copilot+ 配置,但较低的配置也足够了。

您的系统要求如下:

  • 64 位版本的 Windows 10 或 11、Windows Server 2025 或 macOS
  • 至少 3GB 硬盘空间(对于多个型号的安装建议 15GB)
  • 至少 8GB RAM(16GB 是实现最佳性能的理想选择)
  • 虽然不是强制性的,但建议使用 NVIDIA GPU(2000 系列或更新)、Qualcomm Snapdragon X Elite(8GB 或更大)、AMD GPU(6000 系列或更新)或 Apple 芯片

注意:仅在安装和添加新的 AI 模型时才需要互联网连接。安装完成后,您可以离线操作。此外,请确保您拥有安装过程的管理员权限。

Foundry Local AI 的安装步骤

与传统软件不同,Foundry Local 的安装是通过命令行执行的winget。不用担心!您不需要高级技术技能即可执行此过程。

如果您更喜欢标准安装方法,则可以从 GitHub 下载它

Win要开始安装 Windows,请按+ X,然后选择终端(管理员) ,进入终端窗口。接下来,执行以下命令:

winget install Microsoft. FoundryLocal

通过 Windows 终端安装 Foundry Local AI。

阅读并同意安装条款和条件,然后耐心等待安装进度,这可能需要一些时间。

对于 macOS 用户,在终端窗口中输入以下命令:

brew tap microsoft/foundrylocal && brew install foundrylocal

如果您想在 Raspberry Pi 上安装 LLM,请按照官方网站上提供的相应安装说明进行操作。

安装您的第一个AI模型

微软建议在启动时安装轻量级型号,例如 Phi-3.5-mini。对于磁盘空间有限但又想轻松体验 AI 功能的用户来说,这款型号是理想之选。

要安装您的第一个模型,只需打开终端并输入:

foundry model run phi-3.5-mini

安装时间可能因您选择的型号而异;就我而言,Phi-3.5-mini 仅用了两分钟就完成了。Foundry Local AI 的一大优势在于它能够根据您的硬件配置安装最合适的型号。

安装Phi 3.5迷你模型。

foundry model list

此命令将显示每个已安装的模型以及所需的存储空间及其具体用例。目前,所有可用模型均设计用于聊天完成任务。

Foundry Local 上的完整模型列表。

与本地人工智能模型互动

由于目前尚未提供全面的图形界面,您与已安装的 AI 模型的交互完全通过命令行进行。与模型的交互就像与任何传统的 AI 聊天机器人交流一样简单。您只需在提示符下输入文本即可,提示符为“交互模式,请输入您的文本”

每个模型都有其独特的局限性。例如,我测试了 Phi-3.5-mini 模型,并提出了“什么是 Foundry Local?”的问题。它承认自己在 2023 年初之前的知识方面存在局限性,但仍然给出了答案。然而,其响应的准确性可能有些不足。

使用 Foundry Local 回答有关 foundry local 的问题。

为了获得最佳结果,请坚持进行简单的询问,不需要进行详尽的研究或立即更新。

如果您想在以前安装的模型之间切换,请使用以下命令:

foundry model run modelname

请记住将“modelname”替换为您选择的模型的名称。

如果您处于交互模式(聊天模式),请注意您需要关闭终端窗口才能切换会话,因为当前没有可用的退出命令 – 这绝对是用户热切期待的功能!

基本 Foundry 本地 AI 命令

虽然存在完整的列表,但了解一些核心命令就足以有效地操作 Foundry Local。这些命令涵盖了模型、服务和缓存命令的主要类别。

要查看 Foundry Local 的所有常规命令,请使用以下命令:

foundry --help

要探索特定于模型的命令,请输入:

foundry model --help

要检查服务命令,只需输入:

foundry service --help

对于缓存命令,使用:

foundry cache --help

掌握这些命令后,即使未来更新中出现新的命令,您也能轻松浏览 Foundry Local 界面。如果您需要比 Foundry Local 提供的更多功能,可以考虑探索 ChatGPT 或其他创新型 AI 工具等成熟的替代方案。

常见问题

1.我可以用 Foundry Local AI 做什么?

Foundry Local AI 让您无需互联网连接即可在电脑上运行各种语言学习模型,从而支持 AI 技术的实验和开发。目前,它专注于聊天补全任务。

2.运行 Foundry Local AI 是否需要昂贵的计算机?

不,虽然建议使用更高端的配置,但 Foundry Local AI 可以在中端硬件上运行。只要您满足指定的系统要求,就能享受该工具的功能。

3.使用 Foundry Local AI 有哪些已知的限制?

是的,像 Phi-3.5-mini 这样的模型存在与知识截止日期相关的限制,这意味着它们可能会提供过时或不正确的信息。此外,命令行界面虽然功能齐全,但缺少新用户可能觉得更直观的图形组件。

来源和图片

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注