Microsoft が Phi-4 を発表: 小規模言語モデルの新時代
マイクロソフトは今年初めに Phi-3 ファミリーをリリースしましたが、今回 Phi-4 モデルを発表することで大きな前進を遂げました。この最新版は、140 億のパラメータを備えた洗練された小規模言語モデル (SLM) です。特に Phi-4 は、MATH と GPQA AI ベンチマークの両方で OpenAI の GPT-4 を上回る優れた機能を備えています。
数学的推論のための設計
Microsoft は、Phi-4 の強力な数学推論能力は、厳選された有機データと高品質の合成データセットを革新的に使用することで実現したと考えています。Phi-4 のトレーニング プロセスには、マルチエージェント プロンプト、自己修正ワークフロー、指示の反転などの高度な技術が取り入れられ、これらが総合的に、モデルのトレーニング マテリアルの中核となる合成データセットの作成に貢献しました。さらに、Microsoft は、トレーニング後のフェーズでモデルの出力品質を向上させるために、拒否サンプリングを実装しました。
ベンチマークに関する懸念への対応
マイクロソフトが発表した技術論文「Phi-4 テクニカル レポート」では、ベンチマーク テスト データのオンライン漏洩に関する潜在的な問題に取り組んでいます。Phi-4 のデータ汚染除去プロセスが改善され、評価結果に過度の影響が及ばないようにしています。これらの進歩を検証するために、マイクロソフトは、従来のトレーニング データ収集後に行われた 2024 年 11 月の AMC-10 および AMC-12 数学コンテストで Phi-4 のパフォーマンスを評価しました。
有望なパフォーマンスと限界
添付の画像に示されているように、Phi-4 のパフォーマンスは、同様のサイズのモデルやオープンウェイト モデル、さらには Gemini 1.5 Pro などの大型モデルを凌駕しています。Microsoft は、Phi-4 が MATH ベンチマークで達成した高スコアは、オーバーフィッティングやデータ汚染の結果ではないと主張しています。
Phi-4 は優れた機能を備えていますが、限界がないわけではありません。比較的小型であるため、事実の知識を幻覚的に理解するのが難しく、詳細な指示を厳密に実行できない可能性があります。安全性とセキュリティに関する懸念を軽減するために、Phi-4 開発チームは Microsoft の独立 AI Red Team (AIRT) と連携し、一般的なシナリオと敵対的なシナリオの両方で Phi-4 に関連する潜在的なリスクを特定しました。
入手可能性と将来の見通し
Phi-4 は現在、 Microsoft Research ライセンス契約 (MSRLA) に基づき、 Azure AI Foundryを通じてアクセス可能です。さらに、Microsoft は来週、Hugging Face で Phi-4 をリリースし、この最先端モデルへのアクセスを拡大する予定です。
コメントを残す