AI 에이전트 및 대규모 언어 모델(LLM)을 위한 자동화된 벤치마크 감사

현대의 AI 벤치마크(Benchmark)는 전통적인 검증 방법의 속도를 앞지르는 복잡성으로 운영됩니다. 도메인 전문가가 작성한 작업들은 종종 암묵적인 가정, 불완전한 환경 사양, 그리고 인간의 주석(Annotation)으로는 신뢰성 있게 잡아낼 수 없는 취약한 평가 로직을 포함하고 있습니다. 우리는 개별 벤치마크 작업을 체계적으로 감사하여 숨겨진 환경 의존성, 사양의 공백, 제한된 채점 로직과 같은 문제들을 찾아내는 에이전트 기반 프레임워크인 Auto Benchmark Audit (ABA)를 소개합니다. 우리는 9개 도메인에 걸쳐 총 168개의 최첨단 LLM 벤치마크 및 이전 NeurIPS 출판물 모음에 ABA를 실행했습니다. 이 코퍼스(Corpus) 전반에서 ABA는 평가된 작업의 25.7% 이상에서 모호한 작업 설계, 실행 환경 충돌, 잘못된 정답(Ground Truth)을 포함한 심각한 문제들을 식별했습니다. 이러한 자동화된 감사의 정밀도는 전문가 검토 및 상위 PR(Pull Request)과 같은 독립적인 제3자 보고서를 통해 검증되었습니다. 결정적으로, 우리는 이러한 문제 있는 작업들이 에이전트와 LLM의 능력 평가를 심각하게 왜곡한다는 것을 입증했습니다. 문제가 있는 작업들을 필터링하면 모델 순위가 변동되며, SWE-bench Verified와 Terminal-Bench 2에서의 평균 성능이 각각 9.9%와 9.6% 증가합니다. 우리는 최첨단 벤치마크의 향후 발전을 지원하기 위해 에이전트 도구와 모든 작업 주석을 공개합니다.