Microsoft의 UI-Evol을 통한 AI 에이전트 안정성 향상
흥미로운 소식이 있습니다.Microsoft Research Asia 의 연구원들이 UI-Evol 이라는 획기적인 구성 요소를 공개했습니다.이 혁신은 운영 체제와 연동하여 자율적으로 작업을 수행할 수 있는 알고리즘인 컴퓨터 기반 AI 에이전트의 정확성과 신뢰성을 향상시키도록 설계되었습니다.이러한 AI 모델은 뛰어난 성능에도 불구하고 정확도 측면에서 오랫동안 어려움을 겪어 왔습니다.
지식-행동 격차의 과제
컴퓨터를 사용하는 AI 에이전트는 사용자 인터페이스와 상호작용하는 방법을 학습하기 위해 인터넷에서 정보를 자주 검색합니다.그러나 사용자 인터페이스가 끊임없이 진화하는 특성상, 이러한 에이전트는 이론적 지식을 실제 UI 상호작용에 적용하는 데 어려움을 겪는 경우가 많습니다.이러한 단절을 지식 -행동 격차(knowledge-action gap) 라고 하며, 이는 에이전트의 효율성을 저해하는 심각한 장애물입니다.
Microsoft에서 최근 발표한 연구에 따르면 이 문제가 심각합니다.최대 90%의 정확한 명령으로 작동하는 AI 에이전트는 41%의 성공률만 달성했습니다.더욱이 이러한 에이전트는 예측 불가능성을 보이며, 종종 동일한 작업을 실행하더라도 결과가 다르게 나타납니다.이러한 불일치는 맞춤형 솔루션의 필요성을 시사합니다.
UI-Evol 소개
AI 에이전트의 워크플로에 완벽하게 통합되는 다재다능한 구성 요소인 UI-Evol을 소개합니다. UI-Evol은 실제 사용자 인터페이스의 실시간 정보를 활용하여 AI의 인터페이스 지식을 지속적으로 개선하고 업데이트하도록 설계되었습니다.이러한 개발은 에이전트의 신뢰성과 정확성을 향상시킵니다.
UI-Evol 작동 방식
UI-Evol은 간단한 2단계 접근 방식을 채택합니다.
- 재추적: 이 방법은 작업 완료 중에 AI 에이전트가 수행하는 정확한 동작(예: 클릭, 키 입력, 결정)을 세심하게 기록하는 것을 포함합니다.
- 비판: 이 방법은 기록 후 에이전트의 행동을 기존 외부 지침과 비교합니다.불일치가 발견되면 시스템은 지식 기반을 적절히 조정하여 소프트웨어 환경 내에서 실용적이고 효과적인 전략을 반영하도록 합니다.
입증된 효과
UI-Evol의 효능을 검증하기 위해, 최고 성능의 컴퓨터 사용 에이전트 중 하나로 손꼽히는 Agent S2 에서 OSWorld 벤치마크를 사용하여 테스트했습니다.GPT-4o 및 OpenAI-o3 와 같은 선도적인 대규모 언어 모델로 학습된 에이전트를 사용한 실험은 작업 성공률의 현저한 향상과 일관성 증가라는 놀라운 결과를 보였으며, 이를 통해 에이전트의 행동 변동성을 줄였습니다.이러한 개발은 AI 에이전트의 신뢰성을 더욱 향상시킵니다.
미래에 대한 의미
UI-Evol의 도입을 통해 Microsoft는 사무 자동화 및 가상 비서 업무에서 AI 에이전트의 역량을 크게 향상시킬 수 있게 되었습니다.이러한 개선은 Microsoft를 AI 연구 분야의 선두주자로 자리매김할 뿐만 아니라, AI 에이전트가 다양한 애플리케이션에서 더욱 효율적이고 안정적으로 작업할 수 있는 미래를 위한 토대를 마련합니다.
이미지 출처: Depositphotos.com
답글 남기기