Doc2Harness: 코딩 에이전트의 장기 지평(Long-Horizon) 하네스 엔지니어링 벤치마크

요약

본 글은 LLM 기반 에이전트가 장기 지평 과제를 수행할 때, 모델 자체보다 주변 하네스(harness)의 중요성을 강조하며 새로운 벤치마크 Doc2Harness를 제안합니다. 이 2단계 벤치마크는 후보 하네스를 구성하고 격리된 환경에서 테스트하는 과정을 통해 장기 지평 하네스 엔지니어링을 직접 평가합니다.

핵심 포인트

• Doc2Harness는 장기 지평 하네스 엔지니어링을 측정하는 최초의 결정론적 벤치마크입니다.
• 2단계 구조로, 후보 하네스를 구성하고 격리된 컨테이너에서 테스트 케이스별로 실행됩니다.
• 총 19개 모델에 걸쳐 328개 테스트 케이스를 평가했으며, GPT-6 Astra가 최고 패스율을 기록했습니다.
• 모델의 실패는 주로 교차 기능이 모듈 전반에 걸쳐 분할되는 지점에서 발생함을 보여줍니다.