透過 Microsoft 創新的 Foundry Local AI 工具，在 Windows PC 上利用語言學習模式 (LLM) 的強大功能變得更加簡單。最重要的是，它是免費的！這項強大的解決方案為大量人工智慧模型的探索和實驗打開了大門。
了解 Foundry 本地 AI
Microsoft 的 Foundry Local 是一個突破性的平台，主要針對希望在其係統上直接部署 LLM 而無需互聯網連接的開發人員量身定制。雖然它可能無法複製 ChatGPT 或 Copilot 等流行的雲端 AI 服務所提供的體驗，但它為測試各種 AI 型號提供了絕佳的途徑。
由於它仍處於公開預覽階段，請記住該工具相對基礎，隨著開發的進展，預計會有增強功能和新功能。
Foundry Local AI 的先決條件
在深入安裝過程之前，請確保您的 Windows PC 能夠執行 Foundry Local AI。儘管微軟建議採用高階 Copilot+ 設置，但較低的規格仍然足夠。
您的系統需求如下：
- 64 位元版本的 Windows 10 或 11、Windows Server 2025 或 macOS
- 至少 3GB 硬碟空間（對於多個型號的安裝建議 15GB）
- 至少 8GB RAM（16GB 是最佳效能的理想選擇）
- 雖然不是強制性的，但建議使用 NVIDIA GPU（2000 系列或更新）、Qualcomm Snapdragon X Elite（8GB 或更大）、AMD GPU（6000 系列或更新）或 Apple 晶片
注意：僅在安裝期間和新增新的 AI 模型時才需要存取網際網路。安裝完成後即可離線操作。另外，請確保您擁有安裝過程的管理權限。
Foundry Local AI 的安裝步驟
與傳統軟體不同，Foundry Local 的安裝是透過命令列使用 執行的winget。不要害怕！您不需要高級的技術技能來執行此流程。
如果您喜歡標準安裝方法，則可以從 GitHub 下載它。
Win若要開始安裝 Windows，請按+存取終端機窗口X，然後選擇終端機（管理員）。接下來執行此命令：
winget install Microsoft. FoundryLocal
閱讀並同意安裝條款和條件，然後耐心等待安裝進度，這可能需要一些時間。
對於 macOS 用戶，在終端機視窗中輸入以下命令：
brew tap microsoft/foundrylocal && brew install foundrylocal
如果您想在 Raspberry Pi 上安裝 LLM，請按照官方網站上提供的相應安裝說明進行操作。
安裝您的第一個AI模型
啟動時，微軟建議安裝輕量級型號，例如Phi-3.5-mini。該模型非常適合那些磁碟空間有限但可以輕鬆引入 AI 功能的用戶。
要安裝您的第一個模型，只需打開終端並輸入：
foundry model run phi-3.5-mini
安裝時間可能因您選擇的型號而異；就我而言，Phi-3.5-mini 僅兩分鐘就完成了。 Foundry Local AI 的一個顯著優勢是它能夠根據您的硬體配置安裝最合適的模型變體。
foundry model list
此命令將顯示每個已安裝的模型以及所需的儲存空間及其特定用例。目前，所有可用的模型都是為聊天完成任務而設計的。
與本地人工智慧模式互動
與已安裝的 AI 模型的交互完全透過命令列進行，因為目前還沒有提供全面的圖形介面。與模型的互動就像與任何傳統的人工智慧聊天機器人交流一樣簡單。您只需在提示字元下輸入您的文本，提示符號為互動模式，請輸入您的文字。
每種模型都有其獨特的限制。例如，我使用「什麼是 Foundry Local？」這個問題測試了 Phi-3.5-mini 模型。它承認其在 2023 年初之前的知識方面的局限性，但仍然給出了答案。然而，其反應的準確性可能有些不盡人意。
為了獲得最佳結果，請堅持進行簡單的詢問，不需要進行詳盡的研究或立即更新。
如果您想在先前安裝的模型之間切換，請使用以下命令：
foundry model run modelname
請記住將“modelname”替換為您選擇的模型的名稱。
如果您處於互動模式（聊天模式），請注意您需要關閉終端視窗才能切換會話，因為目前沒有可用的退出命令 – 這絕對是用戶熱切期待的功能！
基本 Foundry 本地 AI 指令
雖然存在完整的列表，但了解一些核心命令就足以有效地操作 Foundry Local。這些命令涵蓋模型、服務和快取命令的主要類別。
若要查看 Foundry Local 的所有常規命令，請使用以下命令：
foundry --help
若要探索特定於模型的命令，請輸入：
foundry model --help
要檢查服務命令，只需輸入：
foundry service --help
對於快取命令，使用：
foundry cache --help
透過掌握這些指令，您將輕鬆瀏覽 Foundry Local 介面，即使隨著未來的更新出現新的指令。對於需要比 Foundry Local 提供的更多功能的用戶，可以考慮探索 ChatGPT 或其他創新 AI 工具等成熟的替代方案。
常見問題
1.我可以用 Foundry Local AI 做什麼？
Foundry Local AI 使您能夠在 PC 上運行各種語言學習模型，而無需互聯網連接，從而可以進行 AI 技術的實驗和開發。目前，它專注於聊天完成任務。
2.運行 Foundry Local AI 是否需要昂貴的電腦？
不，雖然建議使用更高端的設置，但 Foundry Local AI 可以在中階硬體上運行。只要您符合指定的系統要求，您就應該能夠享受該工具的功能。
3.使用 Foundry Local AI 有哪些已知的限制？
是的，像 Phi-3.5-mini 這樣的模型存在與知識截止日期相關的限制，這意味著它們可能會提供過時或不正確的資訊。此外，命令列介面雖然功能齊全，但缺少新用戶可能覺得更直覺的圖形元件。
發佈留言