Doc2Harness: 코딩 에이전트의 장기 지평(Long-Horizon) 하네스 엔지니어링 벤치마크

대규모 언어 모델(LLM)에 의해 구동되는 에이전트는 도구를 사용하고 실제 작업 공간을 수정하는 장기 지평 과제에 점점 더 많이 배포되고 있습니다. 이들이 얼마나 잘 수행할 수 있는지는 모델 자체뿐만 아니라 주변의 하네스(harness)에도 크게 좌우됩니다. 기존 벤치마크는 고정된 하네스 환경 하에서 다운스트림 태스크 성공 여부를 측정할 뿐, 하네스 엔지니어링 자체는 탐구하지 못했습니다. 우리는 장기 지평 하네스 엔지니어링을 직접 평가하는 2단계 벤치마크인 Doc2Harness를 제안합니다. Stage 1에서는 고정된 빌더 하네스(builder harness) 내부에서 작동하는 빌드 모델이 인터페이스 전용 계약 스켈레톤과 12개의 최첨단 하네스의 동작을 통합한 개발 문서를 받아 격리된 컨테이너 내에서 완전한 후보 하네스를 구성합니다. Stage 2에서는 동결된 후보 하네스가 구축 환경과 분리된 컨테이너에서 테스트 케이스별로 실행되며, 스크립트화된 목업 모델(mock model)에 의해 종단 간(end to end)으로 구동됩니다. 우리는 네 가지 관찰 가능한 채널, 즉 모델로 전송된 요청, 디스크의 파일, 프로세스 종료 코드, 그리고 명령어 출력을 사용하여 각 테스트 케이스를 점수화합니다. 긍정적 제어(positive controls)는 공허한 통과(vacuous passes)를 배제합니다. 총 19개의 최첨단 모델에 걸쳐 각각 328개 테스트 케이스로 독립적인 빌드를 통해 평가했을 때, GPT-6 Astra가 53.05%의 최고 패스율을 달성했으며, 가장 성능이 낮은 모델은 27.44%를 기록하여 약 26% 포인트의 격차를 보였습니다. 심지어 가장 강력한 모델조차 테스트 케이스의 거의 절반에 실패했으며, 이러한 실패는 교차 기능(cross-cutting functionality)이 모듈 전반에 걸쳐 어떻게 분할되는지에 집중되어 있었습니다. 우리가 아는 한, Doc2Harness는 장기 지평 하네스 엔지니어링을 측정하는 최초의 결정론적 벤치마크를 제공합니다.