WindowsWorld: 전문 교차 응용 환경에서의 자율 GUI 에이전트에 대한 프로세스 중심 벤치마크

요약

기존 GUI 에이전트 벤치마크는 단일 응용 프로그램 작업에 치중되어 있어 복잡한 전문 워크플로우를 평가하는 데 한계가 있었습니다. 본 논문은 이러한 격차를 해소하기 위해 'WindowsWorld'라는 교차 응용 프로그램(cross-application) 워크플로우 벤치마크를 제시합니다. 이 벤치마크는 실제 직업 환경을 반영하는 다단계 작업을 포함하며, 실험 결과에 따르면 현재의 GUI 에이전트들은 여러 응용 프로그램을 조정해야 하는 복잡한 작업에서 성능이 현저히 떨어지는 것으로 나타났습니다.

핵심 포인트

• 기존 벤치마크는 단일 앱 작업 위주였으나, WindowsWorld는 실제 전문 워크플로우를 반영하는 교차 응용 프로그램 다단계 작업을 제공합니다.
• WindowsWorld 벤치마크는 16가지 직업을 기반으로 하며, 총 181개의 작업(78%가 다응용 프로그램)으로 구성되어 있습니다.
• 현재 GUI 에이전트들은 여러 응용 프로그램을 조정해야 하는 복잡한 작업에서 성공률이 매우 낮습니다 (평균 < 21%).
• 에이전트들은 조건부 판단과 3개 이상의 앱을 가로지르는 추론이 필요한 작업에서 실패하는 경향을 보입니다.