VLAA-GUI: 언제 멈추고(Stop), 복구하고(Recover), 검색할지(Search) 아는 모듈형 GUI 자동화 프레임워크

요약

본 논문은 자율적인 GUI(Graphical User Interface) 자동화 에이전트가 직면하는 '조기 성공 선언' 및 '반복 루프' 문제를 해결하기 위한 모듈형 프레임워크인 VLAA-GUI를 제안합니다. 이 프레임워크는 시스템이 언제 멈춰야 할지(Stop), 실패 시 어떻게 복구해야 할지(Recover), 그리고 새로운 방법을 찾아 검색해야 할지(Search)에 대한 체계적인 가이드를 제공합니다. 핵심 구성 요소로는 UI 기반 성공 기준을 검증하는 'Completeness Verifier', 반복 실패를 방지하고 전략 전환을

핵심 포인트

• VLAA-GUI는 GUI 자동화 에이전트의 조기 종료 및 무한 루프 문제를 해결하기 위해 설계된 모듈형 프레임워크입니다.
• 핵심 구성 요소로는 UI 기반 성공 기준 검증을 강제하는 Completeness Verifier, 반복 실패를 막고 전략 변화를 유도하는 Loop Breaker가 포함됩니다.
• 이 프레임워크는 Opus 4.5, 4.6 및 Gemini 3.1 Pro 등 5가지 백본 모델에서 평가되었으며, OSWorld에서 인간 성능(72.4%)을 초과 달성한 경우가 있었습니다.
• Loop Breaker를 통해 루프에 취약한 모델의 낭비 스텝 수를 거의 절반으로 줄일 수 있음을 입증했습니다.