Engenheiros da Microsoft desenvolvem agentes de IA confiáveis para uso em computadores.

Aprimorando a confiabilidade de agentes de IA com o UI-Evol da Microsoft

Em um desenvolvimento empolgante, pesquisadores da Microsoft Research Asia revelaram um componente inovador chamado UI-Evol. Essa inovação foi projetada para aprimorar a precisão e a confiabilidade de agentes de IA para uso em computadores, que são algoritmos capazes de executar tarefas de forma autônoma, interagindo com um sistema operacional. Apesar de suas capacidades avançadas, esses modelos de IA historicamente têm apresentado dificuldades com a precisão.

O desafio da lacuna entre conhecimento e ação

Agentes de IA que utilizam computadores frequentemente obtêm informações da internet para aprender a interagir com interfaces de usuário. No entanto, dada a natureza em constante evolução das interfaces de usuário, esses agentes muitas vezes encontram dificuldades em aplicar seu conhecimento teórico a interações reais com a interface. Essa desconexão é conhecida como lacuna conhecimento-ação, um obstáculo significativo que reduz sua eficácia.

Um estudo recente destacado pela Microsoft reforça essa questão: agentes de IA operando com até 90% de instruções corretas obtiveram sucesso na conclusão da tarefa em apenas 41% das vezes. Além disso, esses agentes demonstram imprevisibilidade, frequentemente executando a mesma operação com resultados variáveis. Essa inconsistência exigiu uma solução específica.

Apresentando UI-Evol

Apresentamos o UI-Evol — um componente versátil que se integra perfeitamente ao fluxo de trabalho de um agente de IA. Ao aproveitar informações em tempo real da interface do usuário, o UI-Evol foi projetado para refinar e atualizar continuamente o conhecimento da IA sobre a interface. Esse desenvolvimento aprimora a confiabilidade e a precisão desses agentes.

Como funciona o UI-Evol

UI-Evol emprega uma abordagem simples em duas etapas:

Rastreamento: Este método envolve o registro meticuloso das ações precisas que um agente de IA realiza — como cliques, pressionamentos de teclas e decisões — durante a conclusão de uma tarefa.
Crítica: Após a gravação, este método compara as ações do agente com instruções externas estabelecidas. Se forem identificadas discrepâncias, o sistema ajusta sua base de conhecimento de acordo, garantindo que ela reflita estratégias práticas e eficazes dentro do ambiente de software.

Eficácia comprovada

Para validar a eficácia do UI-Evol, ele foi testado no Agente S2, reconhecido como um dos agentes de uso de computador com melhor desempenho, utilizando o benchmark OSWorld. Experimentos conduzidos com agentes treinados em modelos de linguagem de ponta, como GPT-4o e OpenAI-o3, produziram resultados impressionantes: melhorias significativas nas taxas de sucesso das tarefas e maior consistência, reduzindo assim a variabilidade comportamental dos agentes. Esse desenvolvimento torna os agentes de IA mais confiáveis.

Implicações para o futuro

Com a introdução do UI-Evol, a Microsoft está preparada para aprimorar significativamente as capacidades dos agentes de IA em automação de escritório e tarefas de assistente virtual. Essa melhoria não apenas posiciona a Microsoft como líder em pesquisa de IA, mas também abre caminho para um futuro em que os agentes de IA possam trabalhar com mais eficiência e confiabilidade em diversas aplicações.

Imagem via Depositphotos.com

Fonte e imagens