Microsoft dévoile Phi-4 : un modèle de langage de pointe à 14B paramètres

Microsoft dévoile Phi-4 : une nouvelle ère dans les modèles de langages de petite taille

Plus tôt cette année, Microsoft a lancé la famille Phi-3 et a maintenant franchi une étape importante en dévoilant le modèle Phi-4. Cette dernière itération est un modèle de langage de petite taille (SLM) sophistiqué comportant 14 milliards de paramètres. Phi-4 présente notamment des capacités remarquables, surpassant le GPT-4 d’OpenAI dans les tests d’IA MATH et GPQA.

Conçu pour le raisonnement mathématique

Microsoft attribue les solides capacités de raisonnement mathématique de Phi-4 à son utilisation innovante d’ensembles de données synthétiques de haute qualité aux côtés de données organiques organisées. Le processus de formation de Phi-4 a fait appel à des techniques avancées telles que l’invite multi-agent, les flux de travail d’auto-révision et l’inversion des instructions, qui ont collectivement contribué à créer les ensembles de données synthétiques qui constituent le cœur du matériel de formation du modèle. En outre, Microsoft a mis en œuvre l’échantillonnage par rejet pour améliorer la qualité de sortie du modèle pendant sa phase post-formation.

Répondre aux préoccupations liées aux indices de référence

Dans le document technique publié par Microsoft, Phi-4 Technical Report , la société aborde les problèmes potentiels liés à la fuite de données de tests de référence en ligne. Des améliorations ont été apportées au processus de décontamination des données de Phi-4, garantissant qu’aucune influence indue ne vienne altérer les résultats de l’évaluation. Pour valider ces avancées, Microsoft a évalué les performances de Phi-4 par rapport aux concours de mathématiques AMC-10 et AMC-12 organisés en novembre 2024, qui ont eu lieu après la collecte des données d’entraînement conventionnelles.

Performances prometteuses et limites

Comme le montre l’image ci-jointe, les performances de Phi-4 éclipsent à la fois les modèles de taille similaire et les modèles à poids ouvert, ainsi que les modèles plus grands tels que Gemini 1.5 Pro. Microsoft affirme que les scores élevés obtenus par Phi-4 sur le benchmark MATH ne sont pas la conséquence d’un surapprentissage ou d’une contamination des données.

Malgré ses capacités impressionnantes, Phi-4 n’est pas sans limites. Étant relativement petit, il a du mal à halluciner des connaissances factuelles et peut ne pas être en mesure d’exécuter rigoureusement des instructions détaillées. Pour atténuer les problèmes de sécurité, l’équipe de développement de Phi-4 a collaboré avec l’équipe AI Red Team (AIRT) indépendante de Microsoft pour identifier les risques potentiels associés à Phi-4 dans des scénarios classiques et conflictuels.

Disponibilité et perspectives d’avenir

Phi-4 est désormais accessible via Azure AI Foundry dans le cadre du contrat de licence Microsoft Research (MSRLA). De plus, Microsoft prévoit de lancer Phi-4 sur Hugging Face la semaine prochaine, élargissant ainsi l’accès à ce modèle de pointe.

Source et images