Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 복잡한 GUI 환경에서 자율 에이전트의 제어 및 계획 수립 문제를 해결하기 위해 Plover라는 시스템을 제안합니다. Plover는 작업 계획과 재계획 과정을 외부화하여, 사용자가 시스템 동작을 검사하고 수정할 수 있는 '계획 중심' 아키텍처를 구현했습니다. 이를 통해 GUI 자동화 에이전트의 투명성과 제어 가능성을 크게 향상시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기그래픽 사용자 인터페이스(GUI) 자동화는 동적 레이아웃, 예상치 못한 대화 상자, 진화하는 인터페이스 상태 등으로 인해 자율 에이전트가 사용자의 의도에서 벗어나기 쉬운 실제 환경에서 여전히 어려운 과제입니다. 최근의 비전 기반 멀티모달 에이전트는 스크린샷과 자연어 지침을 직접 처리하여 유연성을 개선했지만, 계획 수립 및 적응은 종종 내부적으로만 이루어져 사용자가 시스템 동작을 검사(inspect), 감독(supervise)하거나 수정하는 능력을 제한합니다. 본 논문에서는 작업 계획 및 재계획 과정을 영구적이고, 검사 가능하며, 수정 가능한 아티팩트로 외부화한, 계획 중심의 비전 기반 GUI 자동화 시스템인 Plover를 소개합니다. 플래너-실행기(planner-executor) 아키텍처를 통해 Plover는 진화하는 실행 과정에 대한 명시적 감독, 편집 가능한 계획을 통한 국소적 수정, 자연어 안내, 그리고 스크린샷 기반 개입을 지원하며, 수리 과정 중 이전 진행 상황을 보존합니다. 6명의 참가자를 대상으로 한 형성 연구(formative study)를 통해 상호작용 설계를 구체화했습니다. 이후 벤치마크 실패 사례 복구 및 시나리오 기반 워크플로우 분석을 통해 Plover를 평가했습니다. 그 결과, 계획이 가시적으로 유지되고 개입이 국소적일 때 많은 자율 GUI 에이전트의 실패는 구조적으로 복구 가능하며, 명시적인 재계획은 GUI 자동화를 더욱 투명하고, 제어 가능하며, 적응성 있게 만드는 데 도움이 된다는 것을 보여주었습니다.