좋은 터미널 에이전트 벤치마크 작업의 기준: 적대적, 어렵고 명료한 평가 설계 가이드라인

터미널 에이전트 (terminal-agent) 벤치마크는 대형 언어 모델 (LLM) 의 코딩 및 시스템 관리 능력을 측정하는 주요 지표로 부상했습니다. 평가 환경에 대한 시장 수요가 증가함에 따라 검증 로직에 대한 철저한 적대적 검토 (adversarial review) 없이 작업을 신속하게 출시하려는 압력도 함께 커지고 있습니다. 본 논문은 터미널 벤치 (Terminal Bench) 에 기여하고 작업을 검토하는 경험을 1 년 이상 쌓아온 내용을 바탕으로 작성된 좋은 벤치마크 작업을 위한 가이드라인입니다. 대부분의 사람들은 벤치마크 작업을 프롬프트 (prompt) 를 작성하는 방식과 똑같이 작성합니다. 그러나 그렇게 하면 안 됩니다. 프롬프트는 에이전트가 성공하도록 돕기 위해 설계되는 반면, 벤치마크는 그것이 성공할 수 있는지 확인하기 위해 설계됩니다. 우리는 좋은 작업은 적대적 (adversarial), 어렵고 (difficult), 명료해야 한다고 주장하며, AI 생성 지시사항, 지나치게 구체적인 규격 명시, 행정적 어려움, 숨겨진 지식을 전제하는 오라클 솔루션 (oracle solutions), 잘못된 것을 검증하는 테스트, 보상 해킹이 가능한 환경 (reward-hackable environments) 과 같은 일반적인 실패 모드는 작업 작성을 프롬프트 작성으로 대우한 결과라고 예측 가능하게 설명합니다. 우리는 이러한 실패 모드를 정리하고, 진정한 어려움은 환경적이지 않고 개념적임을 주장하며, 최근의 실증적 증거에 따라 인기도 있는 터미널 에이전트 벤치마크 작업 중 15% 이상이 보상 해킹이 가능함을 논의합니다. 본 가이드라인이 벤치마크 유지 관리자, 작업 기여자, 그리고 벤치마크 점수를 증거로 사용하는 연구자들에게 유용한 참고 자료로 활용되기를 바랍니다.