동일한 벤치마크에서 62% 대 58%: 격차는 몇 개의 태스크가 지나야 의미가 있는가?

두 팀이 동일한 에이전트 벤치마크를 동일한 모델과 동일한 스캐폴드(scaffold)로 실행했습니다. Team A는 100개의 태스크를 실행하고 62%를 보고했으며, Team B는 250개를 실행하고 58%를 보고했습니다. 두 팀 모두 자신들의 태스크 목록과 통과율을 공개했습니다. 어느 쪽도 부정행위를 하지 않았습니다.

이 4점의 격차는 실제인가요, 아니면 두 팀이 서로 다른 지점에서 중단했기 때문일까요?

Wei-Jung Huang의 논문(arXiv:2607.12338, 2026년 7월 14일, KDD 2026 Agentic AI Evaluation and Trustworthiness workshop)은 새로운 모델을 실행하지 않고 이 질문에 답합니다. 이 논문은 세 개의 공개 에이전트 벤치마크가 이미 발표한 기록의 태스크 순서를 무작위로 섞은 다음, 첫 15%, 25%, 50%... 태스크를 거친 후의 결정이 모든 태스크를 거친 후의 결정과 일치하는지 질문합니다.

재실행(Rerun)이 아닌 리플레이(Replay)

새로운 데이터가 아니라, 보이는 양의 변화일 뿐입니다:

• SWE-bench Lite: 552개의 순서화된 비교 (276개의 비순서화 쌍), 중앙값 300개 공유 태스크
• SWE-bench Verified: 156개의 순서화(78개 비순서화), 중앙값 496
• AppWorld: 306개의 순서화 (153개 비순서화), 585개 태스크, 36개 패키지 (18 시스템 × 2 분할)
• tau-bench: 12개의 순서화 (6개 비순서화), 항공, 소매 및 통신을 아우르는 시스템당 278개 항목, 비용 필드 포함

각 쌍은 500개의 공개 순서(reveal orders)와 200개의 부트스트랩(bootstraps)을 얻습니다 (tau-bench: 2,000 및 500). 실제 평가는 한 가지 순서로 단 한 번 실행됩니다. 리플레이는 초기에 중단할 경우 비교가 얼마나 자주 정체되는지 추정합니다.

퍼센트 기호를 달고 다니는 세 가지 숫자

0 pp 임계값(threshold): A는 완료된 태스크 세트에서 B보다 엄격하게 높은 경우에 승리하므로, 단 하나의 태스크가 전체 결정을 뒤집할 수 있습니다. 가장 엄격한 설정이며 여유분이 없습니다.

5 pp 예산 그리드(budget grid): 효과 임계값이 아니라 단계 크기입니다 — 5%부터 95%까지 5포인트 간격으로 나뉩니다. 이 논문은 5 pp와 10 pp의 효과 임계값을 별도로 테스트했으므로, 두 가지를 합치지 마십시오.

미결정률(Unresolved rate): 정책이 어느 쪽도 선택하지 않고 더 많은 태스크를 요청하거나 결론을 내리는 것을 거부하는 비교 사례입니다. 세 가지 게이트가 유지되어야 합니다: 결정된 비교 중 조건부 결정 오류(conditional decision error)는 최대 5% 이하여야 하고, 커버리지 실패(coverage failure)는 최대 5% 이하여야 하며, 미결정률은 최대 25%를 넘지 않아야 합니다. 마지막 항목이 25%인 것이지 5%가 아닙니다: 결정했을 때 맞다는 사실만으로는 결정을 거의 하지 않는다면 도움이 되지 않습니다.

네 가지 벤치마크, 네 가지 답변

5 pp 그리드의 0 pp 지점에서:

• AppWorld: 15% — 총 585개 태스크 중 약 88개, 미결정률은 약 21%; 여전히 5 pp와 10 pp에서도 15%를 유지합니다.
• tau-bench: 25% — 총 278개 항목 중 약 70개; 5 pp에서 30%, 10 pp에서 35%입니다.
• SWE-bench Verified: 90% — 총 496개 중 약 446개, 미결정률은 24.22%입니다.
• SWE-bench Lite: 95%로는 여전히 충분하지 않습니다. 25%에서는 오류와 커버리지가 범위 내에 있지만, 비교의 55.92%가 미결정 상태로 남아 있습니다; 95%에서는 27.25%로, 상한선을 초과합니다.

차이점은 미결정된 비교 및 커버리지 격차의 분포입니다: Lite는 25%에서 정확하게 결정하지만 절반 이상을 미결정 상태로 남겨두고; Verified는 90%에서도 겨우 24.22%의 미결정률에 도달합니다.

AppWorld가 초기에 도착하는 이유는 난이도 그룹화(difficulty grouping) 하에서의 커버리지 인식 부트스트랩(coverage-aware bootstrap)이 15%에서 필요한 그룹들을 커버하기 때문입니다. 강제 계층화 정책(forced stratified policy)은 50%가 필요하며; 강제 균일 무작위(forced uniform random)는 25%에서 99.96%의 시간 동안 커버리지에 실패합니다. tau-bench에서는 '최저 비용 태스크 우선(cheapest tasks first)' 방식이 25%에서 비용의 11.51%를 사용하지만, 커버리지 실패율은 100%입니다.

답변이 움직이는 이유

벤치마크 자체에 내재된 것이 아닌 다섯 가지 레버(Five levers): Lite는 0 pp에서는 충분한 예산이 없지만 5 pp에서 55%, 10 pp에서 35%를 가집니다; 거친 그리드(coarse grid)에서의 단일 태스크 여유분은 그 0 pp 예산을 75%로 줄이는 반면, 리포지토리 × 난이도는 더 많은 미결정 상태를 남깁니다; 낮은 오류율은 적은 실수를 의미하기보다는 적은 결정을 의미하는 경우가 많습니다; 순서가 지정되지 않은 쌍(unordered pair)당 한 방향을 유지하면 0 pp에서 1개의 부정 사례에 대해 275개의 긍정 사례가 남아 따라서 논문은 순서가 지정된 비교(ordered comparisons)를 목표로 합니다; 그리고 AppWorld의 15%는 절단 매개변수 a가 0.10, 0.05, 0.02로 변함에 따라 10% 또는 25%로 이동합니다. 비율은 개수가 아닙니다: Lite의 300개 중 95%는 약 285개의 태스크이며, Verified의 496개 중 90%는 약 446개입니다.

논문을 읽을 때 이것이 의미하는 바

"우리는 100개의 태스크를 실행했고 A가 B보다 0.5 포인트 앞섰다"는 것은 결과가 아닙니다. 이 논문의 체크리스트는 다섯 가지 사항을 확인합니다:

1. 임계값(threshold)은 몇 퍼센트 포인트인가?
2. 태스크는 어떻게 선택되었나 — 무작위, 층화(stratified), 비용이 저렴한 순서로?
3. 커버리지 규칙(coverage rule)은 무엇이며, 그룹당 태스크 수는 얼마나 되는가?
4. 의사결정 규칙(decision rule)은 무엇인가 — 부트스트랩 테일(bootstrap tail), 쌍별 정규분포(paired normal), McNemar?
5. 미해결 비교에 대한 상한선이 있는가, 그리고 실제 비율이 보고되었는가?

이 중 어느 하나라도 빠지면 "0.5 포인트 높다"는 것은 "아직 결론 없음"을 의미합니다. 임계값을 변경하는 것만으로도 동일 기록이 충분하지 않은 예산(no sufficient budget)에서 55%로 바뀔 수 있습니다.

이 논문이 보여줄 수 없는 것들

첫째, 리플레이(replay)는 새로운 실험이 아닙니다. "이는 미래 태스크에 대한 성능을 추정하는 것이 아니기 때문입니다. 리플레이 순서는 고정된 완료 기록을 순열할 뿐입니다." 이는 이 배치 중 얼마나 많은 부분이 필요했는지 알려줄 뿐, 15%가 신선한 배치를 통과할 수 있는지 여부는 말해주지 않습니다.

둘째, 모든 결론은 임계값, 커버리지 규칙, 그룹화, 그리고 정책 매개변수(policy parameters)에 달려 있습니다. 0 pp를 5 또는 10 pp로 옮기면 Lite는 아무것도 아닌 상태에서 55%나 35%가 되며; 거친 격자(coarse grid)에서의 단일 태스크 여유분은 그 0 pp 예산을 75%로 끌어올립니다. AppWorld의 15%는 절단 매개변수(truncation parameter)에 따라 10%에서 25%로 변동합니다. 이들은 설계 선택이므로, 예산은 방향성과 커버리지 규칙을 가지고 이동해야 합니다.

셋째, 세 가지 벤치마크 계열만 다루었습니다. OSWorld, WebArena, AgentDojo, AndroidWorld, Terminal-Bench, AgentBench, MiniWoB++는 리플레이되지 않았으며, tau-bench의 격자는 단지 12개의 순서화된 비교(6쌍)만을 담고 있습니다. "AppWorld가 15%이다"라는 것을 다른 인터랙티브 벤치마크로 외삽(extrapolate)해서는 안 됩니다.

넷째, 공개 기록은 필터링된 리더보드 항목입니다: SWE-bench는 분할의 최소 95%를 커버하는 거의 완전한 항목만 유지하며, AppWorld는 36개의 공개 패키지를 사용합니다. 이는 무작위 샘플이 아닌 자발적 제출(voluntary submissions)이므로, 구성 변화가 추정치를 이동시킵니다.

다섯째, 비용에 대한 발견은 tau-bench에서만 유효합니다. SWE-bench나 AppWorld는 비용 필드(cost field)를 게시하지 않으므로, "비용이 저렴한 태스크 우선" 방식은 오직 tau-bench에서만 확인할 수 있습니다.

여섯째, 결정 오류(decision error) 5%, 커버리지 실패(coverage failure) 5%, 미해결(unresolved) 25%는 해당 논문의 공유 목표일 뿐, 산업 표준이 아닙니다. 목표가 바뀌면 예산도 바뀝니다: 이는 보드를 계산하는 프레임워크이지, 만능의 "15%로 충분하다"라는 기준이 아닙니다.

지금 당장 사용할 수 있는 하나의 규칙

"저희가 X개의 태스크를 실행했고 A가 B보다 0.5점 높았습니다"와 같은 문구를 볼 때 세 가지를 확인하세요: 결정 임계값(decision threshold)이 명시되었는지, 태스크들이 리포지토리(repository), 난이도(difficulty), 또는 도메인(domain)에 의해 선택되고 커버되었는지, 그리고 미해결 비율(unresolved share)이 보고되었는지를요. 이 중 하나라도 누락되었다면 "아직 결론 없음"으로 분류하세요. 태스크 비율은 결정 규칙이 아니며, 그것 없이는 단지 비용 수치일 뿐입니다.

AI 평가에 대한 저의 글 더 보기: hhfa008.github.io/ai/writing

이 글은 AI 평가를 읽는 방법에 대한 짧은 시리즈의 두 번째 부분입니다. 첫 번째 부분: Same Model, Same Scaffold, 10 Runs.

고지 사항: AI의 도움을 받아 작성되었으며 저자가 편집했습니다.