AppWorld 및 WorkArena 태스크 검증기에서 사각지대 찾기

실행 기반(Execution-based) 태스크 검증기는 에이전트가 성공했는지 여부를 결정합니다. 우리는 소스 정보를 활용한 변형 테스트(mutation tests)를 통해 배포된 AppWorld 및 WorkArena 검증기를 감사했습니다. 주요 감사는 배포된 체커(checker)를 수정하지 않습니다. AppWorld에서 비멱등적 쓰기(non-idempotent write)를 중복하면 모든 확인 필드 값은 유지하면서 추가 레코드를 생성합니다. 이 검증기는 5개의 적격 제너레이터 중 2개로부터 나온 세 가지 태스크 변형을 모두 수용했습니다: 구성된 효과(constructed effects)가 15개 중 6개입니다. 센서스 이후 체커 복사본에 적용된 카디널리티 패치(cardinality patch)는 유효한 제어(valid controls)를 유지하면서 여섯 개의 모든 셀을 실패하게 만듭니다. WorkArena에서는 이전의 체커-PASS 결과로 선택된 23개의 추가 필드 후보를 사후적으로 재실행했습니다. 독립적인 Table API 읽기백(readback)은 21개에서 기본값이 아닌 영구 저장 값(nondefault persisted values)을 확인했지만, 모든 23개가 PASS를 받았습니다. 요청된 두 문자열은 저장된 기본값의 별칭입니다. 확인된 21개의 잘못된 효과는 세 가지 양식 템플릿에 걸쳐 있습니다. 이러한 선택된 사례들은 감사 프로토콜 하에서 잘못된 효과를 확인하지만, 전체 비율을 추정하지는 않습니다. 다른 구성으로는 독립적으로 확인된 오탐(false accept)을 생성하지 못했습니다. 다른 체커-PASS 사례들은 효과가 올바른 퇴행성(effect-correct degeneracies)입니다. 보존된 증거가 다르기 때문에 zero-PASS 계열은 별도로 보고합니다. 고정된 의도 스왑 그리드(fixed intent-swap grids)에서는 체커들이 2,689개의 비대각 실행에 대해 PASS를 반환하지 않습니다. 이는 거부 센서스입니다: 57개 WorkArena 셀은 세션 범위 증거(session-scoped evidence)를 사용하고, 나머지 2,632개는 분류된 거부 원인과 독립적인 목표 지상 진실(target ground truth)이 부족합니다. 각 증가분은 자체 셀들이 점수화되기 전에 명시됩니다. 보충 자료에는 구성 문법(construction grammar), 증거, 콘텐츠 경계 스테이지 계보(content-bound stage lineage) 및 카운트 재현기(count reproducer)가 포함되어 OpenReview 제출물과 함께 제공됩니다.