ToolCUA: Computer Use Agent를 위한 최적의 GUI-Tool 경로 오케스트레이션(Orchestration)을 향하여

요약

본 논문은 Computer Use Agents (CUAs)가 직면하는 하이브리드 액션 공간(GUI 액션과 도구 호출)의 불확실성을 해결하기 위해 ToolCUA라는 엔드투엔드 에이전트를 제안합니다. ToolCUA는 인터리브드 GUI-Tool 궤적 스케일링 파이프라인을 통해 다양한 학습 데이터를 확보하고, 워밍업 SFT와 단일 턴 RL을 결합하여 중요한 전환 시점의 의사결정을 개선합니다. 최종적으로 도구 효율성 보상을 이용한 Online Agentic RL을 통해 최적화된 ToolCUA는 OSWorld-MCP에서 높은 정확도를 달성하며 효과적인 GUI-Tool 오케스트레이션을 입증했습니다.

핵심 포인트

• CUAs의 하이브리드 액션 공간(GUI/도구)은 실행 경로 선택에 불확실성을 야기하여 성능 저하를 초래한다.
• ToolCUA는 인터리브드 GUI-Tool 궤적 스케일링 파이프라인을 도입하여 데이터 부족 문제를 해결했다.
• 학습 과정은 워밍업 SFT와 단일 턴 RL 결합, 그리고 도구 효율성 보상을 이용한 Online Agentic RL의 단계로 구성된다.
• OSWorld-MCP 실험에서 ToolCUA는 베이스라인 대비 약 66% 향상된 성능을 보여 새로운 SOTA를 달성했다.