VLAA-GUI: 언제 멈추고(Stop), 복구하고(Recover), 검색할지(Search) 아는 모듈형 GUI 자동화 프레임워크
요약
본 논문은 자율적인 GUI(Graphical User Interface) 자동화 에이전트가 직면하는 '조기 성공 선언' 및 '반복 루프' 문제를 해결하기 위한 모듈형 프레임워크인 VLAA-GUI를 제안합니다. 이 프레임워크는 시스템이 언제 멈춰야 할지(Stop), 실패 시 어떻게 복구해야 할지(Recover), 그리고 새로운 방법을 찾아 검색해야 할지(Search)에 대한 체계적인 가이드를 제공합니다. 핵심 구성 요소로는 UI 기반 성공 기준을 검증하는 'Completeness Verifier', 반복 실패를 방지하고 전략 전환을
핵심 포인트
- VLAA-GUI는 GUI 자동화 에이전트의 조기 종료 및 무한 루프 문제를 해결하기 위해 설계된 모듈형 프레임워크입니다.
- 핵심 구성 요소로는 UI 기반 성공 기준 검증을 강제하는 Completeness Verifier, 반복 실패를 막고 전략 변화를 유도하는 Loop Breaker가 포함됩니다.
- 이 프레임워크는 Opus 4.5, 4.6 및 Gemini 3.1 Pro 등 5가지 백본 모델에서 평가되었으며, OSWorld에서 인간 성능(72.4%)을 초과 달성한 경우가 있었습니다.
- Loop Breaker를 통해 루프에 취약한 모델의 낭비 스텝 수를 거의 절반으로 줄일 수 있음을 입증했습니다.
자율 GUI 에이전트는 두 가지 근본적인 과제에 직면합니다. 첫째, 검증 가능한 증거 없이 성공을 성급하게 선언하는 조기 종료(early stopping) 문제와, 복구 과정 없이 동일한 실패 행동을 반복하는 순환 루프(repetitive loops) 문제입니다. 본 논문에서는 시스템이 언제 멈추고(Stop), 복구하고(Recover), 검색해야 하는지 안내하는 세 가지 통합 구성 요소를 중심으로 구축된 모듈형 GUI 에이전트 프레임워크인 VLAA-GUI를 제시합니다. 첫째, 필수적인 완전성 검증기(Completeness Verifier)는 UI 관찰 가능한 성공 기준을 강제하고 모든 완료 단계에서 검증을 수행합니다. 이 검증기는 에이전트 수준의 검증기를 통해 완료 주장을 결정 규칙과 교차 검사하여 직접적인 시각적 증거가 부족한 경우 이를 거부합니다. 둘째, 필수적인 루프 브레이커(Loop Breaker)는 다단계 필터링을 제공합니다. 반복된 실패 후 상호작용 모드를 전환하고, 지속적인 화면 상태 재발 발생 시 전략 변경을 강제하며, 리플렉션 신호를 전략 전환에 바인딩합니다. 셋째, 온디맨드 검색 에이전트(Search Agent)는 검색 능력을 가진 LLM(Large Language Model)에 직접 질의하여 생소한 워크플로우를 온라인으로 검색하고 그 결과를 일반 텍스트로 반환합니다. 또한, 코드 집약적 행동을 위해 코딩 에이전트(Coding Agent)와 정밀한 액션 접지(action grounding)를 위한 그라운딩 에이전트(Grounding Agent)를 추가적으로 통합하여 필요할 때 호출하도록 했습니다. 우리는 Opus 4.5, 4.6 및 Gemini 3.1 Pro를 포함한 다섯 가지 최고 수준의 백본(backbones)을 사용하여 Linux 및 Windows 작업을 수행하는 두 개의 벤치마크에서 VLAA-GUI를 평가했으며, 두 벤치마크 모두에서 최고 성능을 달성했습니다 (OSWorld에서 77.5%, WindowsAgentArena에서 61.0%). 특히 다섯 가지 백본 중 세 개가 OSWorld에서 단일 패스(single pass)로 인간의 성능(72.4%)을 능가했습니다. 제거 연구(Ablation studies)에 따르면, 제안된 세 구성 요소 모두 강력한 백본의 성능을 지속적으로 향상시키는 반면, 약한 백본은 단계 예산(step budget)이 충분할 때 이러한 도구로부터 더 많은 이점을 얻는 것으로 나타났습니다. 추가 분석 결과 또한 루프 발생 가능성이 높은 모델의 경우 루프 브레이커가 낭비되는 단계를 거의 절반으로 줄이는 것을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기