微軟推出 Phi-4：小語言模式的新時代
今年早些時候，微軟推出了 Phi-3 系列，現在又推出了 Phi-4 型號，向前邁出了重要一步。這個最新的迭代是一個複雜的小語言模型 (SLM)，具有 140 億個參數。值得注意的是，Phi-4 展現了卓越的能力，在 MATH 和 GPQA AI 基準測試中都超越了 OpenAI 的 GPT-4。
專為數學推理設計
Microsoft 將 Phi-4 強大的數學推理能力歸因於其對高品質合成資料集和精選有機資料的創新使用。 Phi-4 的訓練過程涉及多智能體提示、自我修訂工作流程和指令反轉等先進技術，這些技術共同有助於創建構成模型訓練材料核心的合成資料集。此外，微軟也實施了拒絕抽樣，以提高模型在訓練後階段的輸出品質。
解決基準問題
在微軟發布的技術論文《Phi-4技術報告》中，該公司解決了圍繞基準測試資料線上外洩的潛在問題。 Phi-4的數據淨化過程得到了改進，確保評估結果不會受到不當影響。為了驗證這些進步，微軟根據 2024 年 11 月舉行的 AMC-10 和 AMC-12 數學競賽評估了 Phi-4 的表現，該競賽是在傳統訓練資料收集之後舉行的。
有前途的性能和局限性
如附圖所示，Phi-4 的性能超越了類似尺寸的型號和開放式重量型號，以及 Gemini 1.5 Pro 等較大型號。微軟聲稱，在 MATH 基準測試中取得的高分 Phi-4 並不是過度擬合或數據污染的結果。
儘管 Phi-4 的功能令人印象深刻，但它也有其局限性。由於規模相對較小，它很難與幻覺的事實知識作鬥爭，並且可能無法嚴格執行詳細的指令。為了緩解安全問題，Phi-4 開發團隊與 Microsoft 的獨立 AI 紅隊 (AIRT) 合作，以找出典型場景和對抗場景下與 Phi-4 相關的潛在風險。
可用性和未來前景
現在可以根據 Microsoft 研究許可協議 (MSRLA)透過Azure AI Foundry存取 Phi-4。此外，微軟計劃下週在 Hugging Face 上發布 Phi-4，擴大對這一尖端模型的訪問。
發佈留言