在Connect 2024上，Meta 創辦人兼執行長馬克祖克柏宣布Llama 3.2首次亮相。這個新版本引入了具有11B和90B 參數的中小型視覺大語言模型 (LLM) ，以及精選的裝置上純文字模型（1B 和 3B 參數）。值得注意的是，新的 11B 和 90B 視覺模型代表了 Llama 首次涉足多模式功能。
微軟也宣布Llama 3.2 11B Vision Instruct 和 Llama 3.2 90B Vision Instruct 模型現已可在Azure AI 模型目錄中存取。此外，很快地開發人員就可以透過模型即服務 (MaaS) 無伺服器 API 對這些增強的模型進行推理。
Azure 上可用於託管計算推理的 Llama 3.2 模型包括：
- 火焰3.2 1B
- 羊駝 3.2 3B
- 駱駝 3.2-1B-指導
- 駱駝 3.2-3B-指導
- 羊駝衛士 3 1B
- Llama 3.2 11B視覺指導
- Llama 3.2 90B 視覺指導
- 駱駝衛士 3 11B 遠景
目前，僅針對 Llama 3.2 1B Instruct 和 3B Instruct 模型提供微調。不過，微軟計劃在未來幾個月內將微調功能擴展到其他 Llama 3.2 模型集合。這些模型的運行限制為每分鐘 200k 令牌和每分鐘 1k 請求。我們鼓勵需要更高速率限制的開發人員聯繫 Microsoft 團隊以進行可能的調整。
此外，Google還宣布所有 Llama 3.2 模型現已在 Vertex AI Model Garden 上提供，允許自助部署。目前，透過 Google 的 MaaS 解決方案僅提供 Llama 3.2 90B 型號的預覽版。
結合 Llama 3.2 模型，Meta 推出了Llama Stack 發行版。這些發行版旨在簡化開發人員在各種環境（包括單節點、本地端、雲端和裝置上設定）中使用 Llama 模型的方式。 Meta 團隊公佈了以下內容：
- 用於建立、設定和執行 Llama Stack 發行版的 Llama CLI（命令列介面）
- 客戶端程式碼支援多種程式語言，例如 Python、Node.js、Kotlin 和 Swift
- 用於 Llama Stack 分發伺服器和代理 API 提供者的 Docker 容器
- 多種分佈：
- 透過 Meta 內部實作和 Ollama 進行單節點 Llama 堆疊分發
- 透過 AWS、Databricks、Fireworks 和 Together 進行 Cloud Llama Stack 分發
- 使用 PyTorch ExecuTorch 實現的 iOS 裝置上 Llama Stack Distribution
- 戴爾支援的本地 Llama Stack Distribution
Llama 3.2 模型和 Llama Stack 發行版的推出標誌著在增強開發人員對強大 AI 模型的可訪問性方面取得了關鍵進展。這一進展預計將推動各領域更大的創新和更廣泛的人工智慧採用。
發佈留言