어떤 오픈 모델에 어떤 코딩 에이전트(harness)를 적용해야 할까요? 28,849회 테스트로 밝혀낸 Harness Leaderboard 공개

여러분이 직접 하실 필요가 없도록 엄청난 컴퓨팅 자원을 소모했습니다. Harness Leaderboard를 공개합니다.

어떤 harness를 사용해 오픈 모델을 구동해야 할까요? 제가 28,849회의 테스트(trials)를 진행하여 알아냈습니다.

이 리더보드는 9가지 코딩 에이전트 harness에 대해 오픈 모델을 비교합니다. 각 비교에서는 오직 harness만 변경되며, 모델, 제공업체(provider), 추론 노력(reasoning effort)은 고정되어 있고 모든 작업은 세 번의 시도 기회를 갖습니다.

테스트는 GLM-5.3-Flash, DeepSeek-V4.1-Flash, 그리고 Flint를 Terminal-Bench 2.1 및 DeepSWE에서 수행했으며, 총 $4,746의 추론(inference) 비용이 발생했습니다.

세 가지 모델을 평균했을 때, mini-swe-agent (@KLieret), bash 전용 에이전트가 작업의 51.4%를 해결했고 @openclaw는 27.3%를 해결했습니다. 나머지 네 개는 mini-swe-agent와 통계적으로 동률입니다.

그중 하나인 Pi (@pidotdev)는 $0.29로 49.4%의 성능을 보여, mini-swe-agent가 작업당 $0.53을 차지하는 것보다 약 45% 저렴합니다.

최적의 harness는 모델에 따라 다릅니다: GLM-5.3-Flash에서는 mini-swe-agent, DeepSeek-V4.1-Flash에서는 Hermes Agent (@NousResearch), Flint에서는 Kimi Code (@Kimi_Moonshot)입니다.

@opencode는 작업당 $3.35로, Pi보다 11.7배 비쌉니다.

9가지 harness가 각각 어떻게 다른지 확인하려면 Harness Hub의 Harness Lens를 참고하세요. 이 도구는 34개의 코딩 에이전트 harness에 대한 프롬프트(prompts), 도구(tools), 압축(compaction)을 문서화하고 모든 주장을 출처와 연결합니다.

Leaderboard: https://t.co/AiWiQtBOz5
Harness Lens: https://t.co/I8jbcWa9JH