지연 시간 최적화를 위한 웹 에이전트 계획 및 스케줄링용 에이전트 JIT 컴파일

컴퓨터 사용 에이전트 (Computer-use agents, CUA)는 브라우저에서 클릭(click), 타이핑(type), 스크롤(scroll)과 같은 도구 호출 시퀀스를 생성함으로써 "Taco Bell에서 가장 저렴한 아이템을 주문해줘"와 같이 자연어로 지정된 작업을 자동화합니다. 현재의 구현 방식은 각 반복마다 LLM 호출이 필요한 순차적인 fetch-screenshot-execute 루프를 따르며, 이는 높은 지연 시간 (latency)과 잘못된 도구 사용으로 인한 빈번한 오류를 초래합니다. 본 논문에서는 작업 설명을 LLM 호출, 도구 호출 및 병렬화 (parallelization)를 자유롭게 포함할 수 있는 실행 가능한 코드로 직접 컴파일하는 대안인 에이전트 적시 컴파일 (agent just-in-time (JIT) compilation)을 제시합니다. 우리의 접근 방식은 세 가지 구성 요소로 이루어집니다: (1) 여러 코드 계획을 생성하고, 각 계획을 도구 사양에 따라 검증하며, 최소 비용의 후보를 선택하는 JIT-Planner; (2) 학습된 지연 시간 분포로부터 Monte Carlo 비용 추정을 통해 병렬화 전략을 탐색하는 JIT-Scheduler; (3) 잘못된 도구 사용이 포함된 계획의 생성률을 줄이기 위해 전제 조건(precondition) 및 사후 조건(postcondition) 상태 요구 사항을 지정하는 불변량 강제 도구 프로토콜 (invariant-enforcing tool protocol)입니다. 5개의 웹 애플리케이션에 걸쳐, JIT-Planner는 Browser-Use 대비 $10.4 imes$의 속도 향상과 $+28%$의 정확도 향상을 달성하였으며, JIT-Scheduler는 OpenAI CUA 대비 $2.4 imes$의 속도 향상과 $+9%$의 정확도 향상을 달성하였습니다.