그래픽 사용자 인터페이스(GUI) 자동화는 동적 레이아웃, 예상치 못한 대화 상자, 진화하는 인터페이스 상태 등으로 인해 자율 에이전트가 사용자의 의도에서 벗어나기 쉬운 실제 환경에서 여전히 어려운 과제입니다. 최근의 비전 기반 멀티모달 에이전트는 스크린샷과 자연어 지침을 직접 처리하여 유연성을 개선했지만, 계획 수립 및 적응은 종종 내부적으로만 이루어져 사용자가 시스템 동작을 검사(inspect), 감독(supervise)하거나 수정하는 능력을 제한합니다. 본 논문에서는 작업 계획 및 재계획 과정을 영구적이고, 검사 가능하며, 수정 가능한 아티팩트로 외부화한, 계획 중심의 비전 기반 GUI 자동화 시스템인 Plover를 소개합니다. 플래너-실행기(planner-executor) 아키텍처를 통해 Plover는 진화하는 실행 과정에 대한 명시적 감독, 편집 가능한 계획을 통한 국소적 수정, 자연어 안내, 그리고 스크린샷 기반 개입을 지원하며, 수리 과정 중 이전 진행 상황을 보존합니다. 6명의 참가자를 대상으로 한 형성 연구(formative study)를 통해 상호작용 설계를 구체화했습니다. 이후 벤치마크 실패 사례 복구 및 시나리오 기반 워크플로우 분석을 통해 Plover를 평가했습니다. 그 결과, 계획이 가시적으로 유지되고 개입이 국소적일 때 많은 자율 GUI 에이전트의 실패는 구조적으로 복구 가능하며, 명시적인 재계획은 GUI 자동화를 더욱 투명하고, 제어 가능하며, 적응성 있게 만드는 데 도움이 된다는 것을 보여주었습니다.