12편의 LLM 에이전트 벤치마크 논문이 스스로에 대해 밝히는 것: 파일럿 감사 및 공개 점수 체계

우리는 12편의 잘 알려진 LLM (Large Language Model) 에이전트 벤치마크 논문을 읽고, 각 논문이 자신의 평가가 어떻게 실행되었는지에 대해 실제로 무엇을 말하고 있는지를 차원별로 기록했습니다. 이러한 동기는 익숙한 좌절감에서 비롯되었습니다. 두 논문이 동일한 모델 이름으로 동일한 벤치마크에 대한 결과를 보고하면서도 서로 일치하지 않을 때, 그 이유가 스캐폴드 (scaffold), 샘플링 설정 (sampling settings), 서브셋 (subset), 또는 평가자 버전 (evaluator version) 때문인지 알 수 없다는 점입니다. 많은 경우, 출판된 결과물은 이에 대한 답을 제공하지 않습니다. 본 논문은 이러한 시도에 대한 구현 보고서입니다. 우리는 작은 감사 체계(5개 필드: 벤치마크 정체성, 하네스 사양 (harness specification), 추론 설정 (inference settings), 비용 보고, 실패 세부 분석)를 설계하고, 파일럿 점수 산정 과정에서 마주친 경계 사례들을 포함한 점수 코드북 (scoring codebook)을 작성하였으며, 이를 12편의 전형적인 논문(에이전트 8편, 고전적 정적 벤치마크 4편)에 적용하여 관찰된 내용을 기록했습니다. 우리는 에이전트 실행의 정확성이 아니라 정보 공개 (disclosure) 정도를 점수화하며, 정보 공개가 신뢰할 수 있는 결과를 의미한다고 주장하지는 않습니다. 8편의 에이전트 벤치마크 논문의 평균 감사 점수는 0.38 (1.0 만점)이었고, 4편의 고전적 정적 벤치마크의 평균은 0.66이었습니다. 가장 큰 격차는 비용 (cost) 측면(8편의 에이전트 벤치마크 논문 중 어느 것도 어떤 형태로든 추론 비용을 공개하지 않음)과 하네스 사양 (harness specification) 측면(평가 환경의 콘텐츠 주소 지정 컨테이너 이미지 (content-addressed container image)를 완전히 공개한 논문이 없음)에서 나타났습니다. 우리는 이 체계를 JSON Schema 파일로, 코드북을 Markdown 문서로, 그리고 원본 점수표를 CSV로 공개합니다. 점수 산정은 단일 감사자에 의해 한 번에 수행되었습니다. 다수 평가자 감사 (multi-rater audit)가 자연스러운 다음 단계이며, 우리는 그것이 무엇을 변화시킬지에 대해 논의합니다.