WeaveBench: 하이브리드 인터페이스를 사용하는 컴퓨터 사용 에이전트(Computer-Use Agents)를 위한 장기적 관점의 실세계

요약

컴퓨터 사용 에이전트(CUA)의 교차 인터페이스 오케스트레이션 능력을 평가하기 위한 새로운 벤치마크 WeaveBench를 소개합니다. GUI, CLI, 코드 작업을 결합한 114개의 실세계 태스크를 통해 에이전트의 장기적 작업 수행 능력을 측정합니다.

핵심 포인트

• GUI, CLI, 코드 작업을 통합한 하이브리드 인터페이스 벤치마크 제안
• 단일 궤적 내에서의 복합적인 인터페이스 오케스트레이션 평가
• 지름길 행동을 탐지하는 궤적 인식 판정기(trajectory-aware judge) 도입
• 최고 모델의 PassRate가 41.2%에 불과하여 향후 발전 가능성 시사