Microsoft conçoit des agents d’IA fiables pour une utilisation informatique.

Amélioration de la fiabilité des agents IA grâce à UI-Evol de Microsoft

Dans une avancée majeure, les chercheurs de Microsoft Research Asia ont dévoilé un composant révolutionnaire nommé UI-Evol. Cette innovation vise à améliorer la précision et la fiabilité des agents d’IA utilisés sur ordinateur, c’est-à-dire des algorithmes capables d’exécuter des tâches de manière autonome en interagissant avec un système d’exploitation. Malgré leurs capacités avancées, ces modèles d’IA ont toujours peiné à atteindre une grande précision.

Le défi du fossé entre les connaissances et l’action

Les agents d’IA destinés à l’utilisation d’ordinateurs récupèrent fréquemment des informations sur Internet pour apprendre à interagir avec les interfaces utilisateur. Cependant, compte tenu de l’évolution constante de ces interfaces, ces agents éprouvent souvent des difficultés à appliquer leurs connaissances théoriques aux interactions réelles. Ce décalage, appelé fossé entre connaissances et action, constitue un obstacle majeur qui réduit leur efficacité.

Une étude récente mise en avant par Microsoft souligne ce problème : des agents d’IA fonctionnant avec jusqu’à 90 % d’instructions correctes n’ont réussi à mener à bien leurs tâches que dans 41 % des cas. De plus, ces agents se montrent imprévisibles, exécutant souvent la même opération avec des résultats variables. Cette incohérence a nécessité une solution ciblée.

Présentation de UI-Evol

Découvrez UI-Evol : un composant polyvalent qui s’intègre parfaitement au flux de travail d’un agent d’IA. En exploitant les informations en temps réel issues de l’interface utilisateur, UI-Evol est conçu pour affiner et mettre à jour en continu les connaissances de l’IA en matière d’interface. Cette évolution améliore la fiabilité et la précision de ces agents.

Comment fonctionne UI-Evol

UI-Evol utilise une approche simple en deux étapes :

Retracer : Cette méthode consiste à enregistrer méticuleusement les actions précises qu’un agent d’IA entreprend — telles que les clics, les frappes au clavier et les décisions — lors de l’exécution d’une tâche.
Critique : Après l’enregistrement, cette méthode compare les actions de l’agent aux instructions externes établies. En cas de divergences, le système ajuste sa base de connaissances afin de garantir qu’elle reflète des stratégies pratiques et efficaces au sein de l’environnement logiciel.

Efficacité prouvée

Pour valider l’efficacité d’UI-Evol, son application a été testée sur l’agent S2, reconnu comme l’un des agents d’interaction avec un ordinateur les plus performants, à l’aide du benchmark OSWorld. Les expériences menées avec des agents entraînés sur des modèles de langage de pointe tels que GPT-4o et OpenAI-o3 ont donné des résultats impressionnants : des améliorations significatives des taux de réussite des tâches et une cohérence accrue, réduisant ainsi la variabilité comportementale des agents. Ce développement rend les agents d’IA plus fiables.

Implications pour l’avenir

Avec l’introduction d’UI-Evol, Microsoft est en passe d’améliorer considérablement les capacités des agents d’IA dans les tâches bureautiques et d’assistance virtuelle. Cette avancée positionne non seulement Microsoft comme un chef de file de la recherche en IA, mais ouvre également la voie à un avenir où les agents d’IA pourront fonctionner de manière plus efficace et fiable dans diverses applications.

Image via Depositphotos.com

Source et images