코딩 에이전트는 현재까지 LLM(대규모 언어 모델)을 활용한 가장 경제적으로 중요한 배포 사례 중 하나이며, 이로 인해 신뢰할 수 있는 평가가 점점 더 중요해지고 있습니다. 하지만 출시 시점에 신중하게 검증된 벤치마크조차도 시간이 지나면 구식이 될 수 있습니다. 모델이 개선됨에 따라 기존 검증기가 거부하는 유효한 솔루션을 발견할 수도 있고, 평가 인프라의 변경은 태스크와 테스트에 내재된 가정을 무효화할 수 있습니다. 우리는 이로 인해 발생하는 결함 축적을 '벤치마크 유지보수 부채(benchmark maintenance debt)'라고 부릅니다. 이는 벤치마크 점수와 그것이 측정하려는 능력 사이의 점점 커지는 격차를 의미합니다.
우리는 커뮤니티 보고서, 태스크 아티팩트, 에이전트 추적 기록, 자동화된 오라클 확인(automated oracle checks), 그리고 인간 승인 기반 수정(human-gated repairs)을 결합한 에이전트 벤치마크를 위한 지속적 검증 워크플로우를 소개합니다. 이 워크플로우를 광범위한 인간 및 LLM 지원 검토와 레드팀 테스트를 거쳐 출시된 벤치마크인 Terminal-Bench 2.0에 적용했습니다. 우리의 감사 결과, 해당 벤치마크의 약 30%에서 문제가 발견되었고, 우리는 그 결과를 수정하여 Terminal-Bench 2.1을 출시했습니다. 이러한 수정은 평가 결과를 변화시켰습니다: 정확도는 10퍼센트 포인트 이상 증가했으며, 리더보드 순위는 최대 세 단계까지 이동했지만, 전반적인 순위 상관관계(Spearman rho = 0.958)는 매우 높게 유지되었습니다.
우리는 자원 할당이 벤치마크 결론을 어떻게 형성하는지 평가했습니다. 우리는 고정된 실시간(wall-clock) 제한 시간이 에이전트 성능에 물질적인 변화를 가져온다는 것을 보여줍니다. 예를 들어, 시간 제한을 연장하면 GPT 5.4에서 20퍼센트 포인트의 하네스 격차를 해소하고, GPT 5.4 mini에서 30 퍼센트 포인트의 격차를 5 퍼센트로 줄입니다. 따라서 벤치마크 유지보수는 단순히 태스크 아티팩트를 수정하는 것만을 의미하지 않습니다. 자원 예산(resource budgets)은 측정 사양의 일부이므로, 태스크 자체와 함께 검증되어야 합니다.
더 광범위하게 볼 때, 벤치마크 유지보수 부채는 단순히 축적된 구현 버그에 국한되지 않습니다. 우리의 결과는 모델이 개선됨에 따라 평가 가정과 자원 설정 모두를 재검증해야 할 수 있음을 보여줍니다.