UndoBench: 도구 사용 AI 에이전트에서 작업 역량과 복구 능력을 분리하기

도구 사용(Tool-using) AI 에이전트는 기업 소프트웨어 시스템 전반에 걸쳐 점점 더 많이 배포되고 있지만, 널리 사용되는 벤치마크는 주로 명목상의 작업 완료만을 평가하여 기본적인 계획 역량과 운영상 오류 복구 능력을 혼동하고 있습니다. 우리는 UndoBench를 소개합니다. 이 벤치마크는 8개 기업 도메인에 걸쳐 36개의 기본 워크플로우와 36개의 오류 시나리오를 다루며, 동일한 시드(seed) 하에서 카운터팩추얼 쌍별 실험(counterfactual paired trials)과 와이어 레벨 효과 기록(wire-level effect-history), 환경 상태 오라클(environment-state oracles)을 통해 작업 역량과 복구 능력을 분리합니다. 두 개의 오픈 가중치 모델, 두 가지 프레임워크, 세 가지 복구 패러다임(5,760회 실행 / 2,880쌍별 실험)에 걸쳐 12개의 보류된 TEST 워크플로우에서, 동결된 손실-인식(frozen lost-acknowledgment) 연구를 수행한 결과, 명목적 역량은 83.54%에 도달했지만 조건부 복구 성공률(CRSR: conditional recovery success rate)은 46.72%로 떨어졌으며, 단순 재시도(naive retry)는 실험의 53.33%에서 중복된 외부 효과를 생성했습니다. 상용 API 모델로 확장했을 때도 이러한 역량-복구 분리가 재현되었습니다. 보완적인 실행 경계에 걸친 평가 결과는 복구가 단계 의존적임을 보여줍니다: 변이(mutation) 전에는 방법들이 중복 효과 없이 유사하게 작동하는 반면, 부분 변이 중에는 단순 재시도, 호출별 동일성(per-call idempotency), 제로 권한 저널링(zero-privilege journaling)이 평가된 복합 워크플로우에서 실패합니다. 커밋 후 인식 전에는 검증(verification)과 서버 측 동일성이 안전성을 상당히 향상시킵니다. 이러한 발견은 명목적 완료만을 평가하는 것이 자율 에이전트의 결정적인, 단계 의존적 복구 취약점을 가린다는 것을 입증합니다.