Microsoft の Phi-3.5-MoE は Gemini 1.5 Flash と競合し、Azure AI Studio と GitHub でアクセス可能になりました

先月、マイクロソフトは、さまざまな機能強化を備えた最先端の軽量 AI モデル Phi-3.5 ファミリーを発表しました。その中でも傑出したのが Phi-3.5-MoE で、これは Phi シリーズで初めて Mixture of Experts (MoE) テクノロジを組み込んだモデルです。

Microsoft は、Phi-3.5-MoE モデルがサーバーレス API 経由で Azure AI Studio と GitHub ですぐに利用できるようになったことを発表しました。この機能により、開発者は基盤となるインフラストラクチャを管理する必要なく、Phi-3.5-MoE モデルをワークフローやアプリケーションにシームレスに統合できます。

Phi-3.5-MoE モデルは、他の Phi-3.5 モデルとともに、米国東部 2、米国東部、米国中北部、米国中南部、米国西部 3、米国西部、スウェーデン中部など、複数のリージョンでアクセスできます。サーバーレスサービスであるため、開発者は従量課金制の料金体系の恩恵を受けることができます。この料金は、入力トークン 1,000 個あたり 0.00013 ドル、出力トークン 1,000 個あたり 0.00052 ドルに設定されます。

さまざまな AI ベンチマークにおいて、Phi-3.5-MoE は、Llama-3.1 8B、Gemma-2-9B、Mistral-Nemo-12B など、同カテゴリのほぼすべてのオープンモデルと比較して、特にアクティブなパラメータの使用が少ないことなど、優れたパフォーマンスを発揮しています。Microsoft は、このパフォーマンスは、この分野の主要なクローズドソースモデルの 1 つである Google の Gemini-1.5-Flash に匹敵し、あるいはわずかに上回ると主張しています。

MoE モデルには合計 420 億のパラメーターがあり、そのうち 66 億のみがアクティブ化され、16 人の専門家によってサポートされています。Microsoft Research のチームは、パフォーマンスの向上、多言語機能の向上、および安全プロトコルの強化を目的として、このモデルをゼロから設計しました。さらに、Microsoft Phi チームは、従来のトレーニング手法に頼るのではなく、GRIN (GRadient INformed) MoE と呼ばれる新しいトレーニング方法を開発しました。このアプローチにより、パラメーターの利用と専門家の専門化が大幅に改善され、従来のトレーニング方法と比較して、はるかに高品質の結果が達成されました。

Phi-3.5-MoE は、その優れたパフォーマンスメトリックとアクセシビリティにより、開発者を支援し、AI エコシステム内でイノベーションを推進します。サーバーレスモデルと消費ベースの価格設定により、参入障壁がさらに取り除かれ、これまで以上に多くの開発者が高度な AI 機能にアクセスできるようになります。

出典:マイクロソフト

ソース