マイクロソフトがPhi-4-Reasoningを発表：言語モデルの画期的進歩
人工知能（AI）における画期的な開発として、マイクロソフトは140億パラメータのモデル「Phi-4-reasoning」を発表しました。これは、複雑な推論タスクを優れた効率で処理するために設計されています。この革新的なモデルは、o3-miniの助けを借りて生成された、厳選された「学習可能な」プロンプトセットに基づく教師ありファインチューニングによって構築されており、トレーニングデータの高品質と関連性が保証されています。
これと並行して、同社はPhi-4-reasoning-plusもリリースしました。これは、14B パラメータ設計を維持するだけでなく、より長い推論トレースを生成することで推論機能を強化し、パフォーマンス ベンチマークを向上させるバリアントです。
パフォーマンス指標：競争優位性
Microsoftの最近のホワイトペーパーで詳述されている調査結果によると、Phi-4推論モデルは、よく知られているDeepSeek-R1-Distill-Llama-70Bを含む、いくつかのより大規模なモデルと比較して優れた性能を示しています。驚くべきことに、これらのモデルは特定のベンチマークにおいてDeepSeek-R1モデルの完全な性能に匹敵します。さらに、 GPQAとCalendar Planningを除くほぼすべてのタスクにおいて、AnthropicのClaude 3.7 SonnetやGoogleのGemini 2 Flash Thinkingを上回る性能を示しました。
モデル開発と限界に関する洞察
Phi-4推論モデルの有望なパフォーマンスは、教師ありファインチューニング（SFT）のための綿密なデータキュレーションが推論言語モデルの能力を大幅に向上させるという考えを裏付けています。さらに、強化学習技術の実装によってパフォーマンスをさらに向上させる可能性も秘めています。
ただし、Phi-4推論モデルには一定の制限があります。主に英語のテキスト向けにカスタマイズされており、標準的なコーディングライブラリを用いて主にPythonで学習されています。さらに、コンテキスト長は32, 000トークンに制限されています。その機能と制約についてより深く理解するには、ホワイトペーパーをご覧ください。
Phi-4-reasoning のご紹介。Phi SLM ファミリーに推論モデルを追加します。このモデルは、教師ありファインチューニング（厳選された推論デモンストレーションデータセットを使用）と強化学習の両方を用いて学習されます。📌推論ベンチマークにおける競合結果… pic.twitter.com/p2FkjD4qfu
AI開発への影響
マイクロソフトは、Phi-4推論モデルを言語モデル研究の発展における重要なツールと捉えています。これらのモデルは、メモリや計算リソースが限られている環境、レイテンシ要件が高いシナリオ、そして高度な推論を必要とするタスクにおいて特に有益となることが期待されています。
さらに詳しい情報や考察については、元のソースである「ソースと画像」をご覧ください。
コメントを残す