@joelniklaus 리트윗: 당신이 할 필요가 없도록 엄청난 컴퓨팅 자원을 사용했습니다. Harness Leaderboard를 공개합니다.

@joelniklaus의 리트윗: 제가 엄청난 양의 컴퓨팅 자원(compute)을 소모했으니, 여러분은 그럴 필요가 없습니다. Harness Leaderboard를 공개합니다.

어떤 하네스(harness)를 사용하여 오픈 모델(open model)을 실행해야 할까요? 저는 알아보기 위해 28,849회의 테스트를 진행했습니다.

이 리더보드는 오픈 모델에서 아홉 가지 코딩 에이전트 하네스(coding-agent harnesses)를 비교합니다. 각 비교에서는 오직 하네스만 변경되며, 모델, 제공업체(provider), 추론 노력(reasoning effort)은 고정되고 모든 작업은 세 번의 시도를 합니다.

테스트는 Terminal-Bench 2.1과 DeepSWE에서 GLM-5.3-Flash, DeepSeek-V4.1-Flash, 그리고 Flint를 사용하여 총 $4,746의 추론 비용으로 진행되었습니다.

세 모델에 걸쳐 평균했을 때, bash 전용 에이전트인 mini-swe-agent (@KLieret)가 작업의 51.4%를 해결했으며 @openclaw는 27.3%를 해결했습니다. 나머지 네 개는 통계적으로 mini-swe-agent와 동률입니다.

그중 하나는 Pi (@pidotdev)로, 해결된 작업당 $0.29의 비용으로 49.4%를 달성했으며 이는 mini-swe-agent의 $0.53보다 약 45% 적은 비용입니다.

최고의 하네스는 모델에 따라 다릅니다: GLM-5.3-Flash에서의 mini-swe-agent, DeepSeek-V4.1-Flash에서의 Hermes Agent (@NousResearch), 그리고 Flint에서의 Kimi Code (@Kimi_Moonshot)입니다.

@opencode는 해결된 작업당 $3.35의 비용이 들며, 이는 Pi보다 11.7배 비쌉니다.

아홉 가지 하네스가 각각 무엇을 다르게 하는지 확인하려면 Harness Hub의 Harness Lens를 참조하세요. 이 도구는 34개의 코딩 에이전트 하네스의 프롬프트(prompts), 도구(tools), 압축(compaction) 내용을 문서화하고 모든 주장을 출처와 연결합니다.

Leaderboard: https://t.co/AiWiQtBOz5
Harness Lens: https://t.co/I8jbcWa9JH