GUI 전용 에이전트가 절반의 단계를 낭비하는 이유

대부분의 컴퓨터 사용 에이전트는 오븐 장갑을 끼고 피어홀(peephole)로 들여다보는 사람처럼 작동합니다. 아이콘 클릭, 문자열 입력, 테이블 스크롤 등 작은 동작 하나하나가 모델로의 왕복 호출, 이미지 인코딩, 그리고 운영체제가 따라잡기를 기다리는 막연한 대기 시간을 필요로 합니다.

이번 주 초, Alibaba 연구원들이 범용적인 컴퓨터 사용 에이전트를 벤치마킹하고 실행하기 위해 설계된 오픈 프레임워크인 OpenGCUA를 공개했습니다. 이 프로젝트는 OSWorld-v2와 macOS 같은 실제 데스크톱 환경 전반에 걸쳐 모델들을 평가합니다.

가장 눈에 띄는 발견은 효율성 통계였습니다. 배치(batched) GUI 작업을 하던 방식에서 Python 코드 실행과 온디맨드 화면 관찰을 결합한 하이브리드 런타임으로 전환하자, 평가된 여덟 가지 모델 전반에 걸쳐 작업당 필요한 단계가 53% 감소했습니다. GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash, Qwen3.8-Max 등에서 평균 부분 완료 점수는 19.6점 상승했습니다.

이러한 차이는 에이전트가 데스크톱과 소통하는 방식의 두 가지 구조적 변화에서 비롯됩니다.

모델 왕복 호출을 로컬 제어 루프로 대체하기

표준 시각 컴퓨터 사용 파이프라인에서는 모델이 전체 스크린샷을 받고, 좌표를 계산한 다음, click(x=340, y=712)와 같은 동작을 출력합니다. 만약 회계 대시보드에서 12개 행의 데이터를 읽거나 디렉토리에서 다섯 개의 파일을 확인해야 한다면, 이 전체 시퀀스를 12번 또는 5번 반복하게 됩니다. 각 단계는 네트워크 지연 시간, 토큰 생성 비용, 그리고 비전 처리 오버헤드를 발생시킵니다.

OpenGCUA는 모델에게 PyAutoGUI 클릭, Playwright 브라우저 상호작용, 셸 명령어 등을 혼합하여 작성하고 실행할 수 있는 짧은 Python 스크립트를 제공합니다.

웹페이지를 폴링하기 위해 열 번의 순차적인 클릭 명령을 내리는 대신, 모델은 다음과 같은 작은 스크립트를 작성합니다:

import time
from playwright.sync_api import sync_playwright

...

Python이 루프를 로컬에서 처리하게 함으로써, 모델은 작업이 완료되거나 예외가 발생할 때만 깨어납니다. 중간 상태 확인은 원격 추론 연결을 거치지 않고 메모리 내부에서 직접 이루어집니다.

필수 스크린샷 대신 온디맨드 비전(On-demand vision)

두 번째 변화는 토큰 낭비를 해결합니다. 기존의 테스트 환경(harness)은 모든 도구 호출 후에 고해상도 스크린샷을 캡처했습니다. 에이전트가 git status를 확인하거나 프로세스 목록을 검사하기 위해 간단한 bash 명령을 실행할 때, 또 다른 1080p 프레임을 프롬프트로 보내는 것은 새로운 정보를 전혀 제공하지 못하면서 이전 컨텍스트를 밀어냅니다.

OpenGCUA는 그 제어권을 모델 자체에 넘깁니다. 에이전트는 그래픽 인터페이스가 변경될 때 명시적으로 screenshot()을 호출할 수 있지만, 프로그래밍 방식의 작업을 실행할 때는 표준 터미널 출력을 계속 사용할 수 있습니다.

실제 macOS 데스크톱에서 논문은 모델 아키텍처 간에 큰 격차를 지적했습니다. 실제 장치 테스트 환경(real-device harness)에서 평가된 네 가지 데스크톱 작업에서, Qwen3.8-Max는 유사한 결과를 얻기 위해 GPT-6 Astra보다 19.4배 더 많은 추론 토큰을 소비했는데, 이는 주로 중첩되는 애플리케이션 창이 예상치 못하게 초점을 이동할 때 적응하는 데 어려움을 겪었기 때문입니다.

이것이 실제 에이전트 워크플로우에 의미하는 바

개발자 워크스테이션에서 신뢰할 수 있는 에이전트를 구축하려면 GUI를 주 인터페이스가 아닌 폴백(fallback)으로 취급해야 합니다.

어떤 작업이 API, 로컬 데이터베이스 연결 또는 셸 명령을 통해 해결될 수 있다면, 이를 시각적 좌표를 거쳐 라우팅하는 것은 불필요한 실패 지점을 추가합니다. 가장 강력한 설정은 인간의 확인이나 임의의 UI 상호 작용이 필요할 때 모델이 시각적 레이아웃을 검사하도록 하고, 반복적인 데이터 추출 같은 작업은 로컬 스크립트가 백그라운드에서 처리하도록 하는 것입니다.