컴퓨터 사용 에이전트 (Computer-use agents, CUAs)는 장기적 과업 (long-horizon tasks)을 완수하기 위해 데스크톱 GUI를 통해 점점 더 많이 활동하고 있습니다. 현재의 벤치마크들은 주로 최종 과업의 성공 여부나 단일 프레임 그라운딩 (single-frame grounding)을 측정합니다. 하지만 모델이 행동에 의해 생성되는 인과적이고 과업 관련적인 전환 (transition)을 재구성할 수 있는지는 측정하지 못합니다. 이러한 전환 능력은 오래된 관찰값 (stale observations)을 거부하고, 진행 상황을 확인하며, 실패로부터 복구하는 데 매우 중요합니다. 이는 추론 (inference), 원격 입력 (remote input), 앱 렌더링 (app rendering), 스크린샷 캡처가 비동기적이기 때문에 어렵습니다. 즉, 다음 관찰값이 지연되거나, 가려지거나, 일시적이거나, 관련이 없을 수 있으며, 이를 진행 상황으로 오독하여 후속 계획 (planning)에 반영할 수 있기 때문입니다.

우리는 Desktop-Delta Bench (DDB)를 소개합니다. 이는 약 15개의 애플리케이션과 50개의 과업 도메인에 걸친 새로운 멀티 앱 Linux 궤적 (trajectories)에서 추출한 2,013개의 인간 검증 인스턴스를 포함하는 오프라인 단계별 (step-level) 벤치마크입니다. DDB 궤적은 두 가지 상호 보완적인 과업을 통해 상태 확인 (state verification), 소스 추적 (source tracking), 문맥 인식 제어 (context-aware control)라는 세 가지 실패 차원을 목표로 합니다. 구체적으로는 105개의 교차 궤적 미끼 (cross-trajectory decoy)를 포함한 463개의 3-프레임 시간적 순서 정렬 (temporal-ordering) 인스턴스와, 5개의 행동 및 그 페이로드 (payload)로부터 라벨링된 1,550개의 전후 (before-after) 쌍으로 구성됩니다.

우리는 32개의 순서 정렬 및 16개의 단일 행동 설정에서 8개의 폐쇄형 및 오픈 소스 모델 제품군을 평가하였으며, 일관된 격차를 관찰했습니다. 순서 정렬은 여전히 포화되지 않은 상태입니다. 미끼가 없는 경우와 미끼가 있는 경우의 최적 정확 일치율 (exact-match rates)은 각각 65.1%와 65.7%입니다. 과업 문맥 (task context)은 미끼 식별 능력을 6.9%포인트 향상시키지만, 미끼가 없는 경우의 정확 일치율을 2.2%포인트 감소시킵니다. 오류 분석 결과, 제시된 A-B-C 순서를 체계적으로 복사하는 경향이 드러났습니다. 단일 행동 결과에 따르면, 행동 제품군 (action family)을 추론하는 것이 위치를 찾는 것보다 더 어렵습니다. 클릭 (click) F1은 0.96인 반면 드래그 (drag)는 0.76이었으며, 인식된 드래그는 일반적으로 위치가 잘 파악되었습니다. 따라서 DDB는 GUI 그라운딩 (grounding)과 최종 과업 성공 사이의 누락된 진단 계층을 채움으로써 엔드 투 엔드 (end-to-end) 벤치마크를 보완하며, 데스크톱 CUA의 검증, 신뢰성 및 복구에 대한 타겟팅된 개선을 가능하게 합니다.