Microsoft dévoile Phi-4-Reasoning : une avancée majeure dans les modèles de langage
Dans le cadre d’une avancée prometteuse en intelligence artificielle, Microsoft a présenté Phi-4-reasoning, un modèle de 14 milliards de paramètres conçu pour traiter des tâches de raisonnement complexes avec une efficacité impressionnante. Ce modèle innovant a été créé grâce à un réglage fin supervisé sur un ensemble de messages d’apprentissage spécialement sélectionnés, générés avec o3-mini, garantissant ainsi des données d’apprentissage à la fois de haute qualité et pertinentes.
Parallèlement à cela, la société a également déployé Phi-4-reasoning-plus, une variante qui non seulement conserve la conception des paramètres 14B mais améliore les capacités de raisonnement en produisant des traces de raisonnement plus longues, offrant ainsi des repères de performances améliorés.
Indicateurs de performance : un avantage concurrentiel
Selon les résultats détaillés dans le récent livre blanc de Microsoft, les modèles de raisonnement Phi-4 affichent des performances supérieures à celles de plusieurs modèles plus imposants, dont le célèbre DeepSeek-R1-Distill-Llama-70B. Fait remarquable, ces modèles égalent même les capacités complètes du modèle DeepSeek-R1 sur des benchmarks spécifiques. De plus, ils ont surpassé Claude 3.7 Sonnet d’Anthropic et Gemini 2 Flash Thinking de Google dans presque toutes les tâches, à l’exception de GPQA et de Calendar Planning.
Aperçu du développement et des limites des modèles
Les performances prometteuses du modèle de raisonnement Phi-4 renforcent l’idée qu’une gestion rigoureuse des données pour le réglage fin supervisé (SFT) peut améliorer considérablement les capacités des modèles de langage de raisonnement. De plus, la mise en œuvre de techniques d’apprentissage par renforcement offre un potentiel d’amélioration des performances.
Cependant, le modèle de raisonnement Phi-4 présente certaines restrictions. Il est principalement adapté aux textes anglais et a été principalement entraîné en Python, à l’aide de bibliothèques de codage standard. De plus, il fonctionne avec une longueur de contexte limitée à 32 000 jetons. Pour une compréhension plus approfondie de ses capacités et de ses contraintes, les lecteurs peuvent consulter le livre blanc.
Présentation du raisonnement Phi-4, qui ajoute des modèles de raisonnement à la famille Phi de SLM. Le modèle est entraîné par ajustement supervisé (à partir d’un ensemble de données soigneusement sélectionnées de démonstrations de raisonnement) et par apprentissage par renforcement.📌Résultats compétitifs aux tests de raisonnement avec… pic.twitter.com/p2FkjD4qfu
Implications pour le développement de l’IA
Microsoft considère les modèles de raisonnement Phi-4 comme des outils essentiels pour faire progresser la recherche sur les modèles linguistiques. Leurs applications devraient être particulièrement utiles dans les environnements où la mémoire ou les ressources de calcul sont limitées, les scénarios exigeant une latence élevée et les tâches exigeant un raisonnement intensif.
Pour plus d’informations et d’idées, visitez la source originale : Source & Images.
Articles connexes:
Le départ d’un chercheur en robotique IA d’Apple vers Meta suscite des inquiétudes quant à l’avenir de l’IA d’Apple dans un contexte de guerre des talents qui s’intensifie
21:00
Microsoft détaille les améliorations apportées aux pilotes Windows 11 de nouvelle génération
20:50
Files reçoit une mise à jour 4.0 importante avec de nombreuses nouvelles fonctionnalités
17:00
Laisser un commentaire