AI 모델과 시스템(harnesses)은 얼마나 많은 코드를 추가하는가? 코드 복잡도를 측정하기 위한 오픈소스 벤치마크를 만들었습니다.

기존 벤치마크들은 해결률(solve rate)과 토큰 출력/비용(token output/cost)을 측정하지만, 과도한 코드나 지나친 공학적 설계(overengineering)로 인해 발생하는 기술 부채(technical debt)를 처벌하지는 못합니다. Parsimony는 다른 벤치마크들이 게시하는 패치에서 구문 단위(statements, calls, names)의 개수를 계산합니다. 이 벤치마크는 줄 수나 주석, 테스트 코드는 계산하지 않습니다. 각 모델 또는 시스템은 동일한 문제에 대한 인간의 수정 사항과 비교됩니다. - 놀랍게도 더 똑똑해진 모델일수록 약간 더 많은 코드를 작성합니다. - 모델: 중간 수준의 모델은 SWE-bench Verified(구형 모델)에서 인간 수정 대비 1.9배를 추가하지만, DeepSWE에서는 약 1배에 그칩니다. - 시스템(Harnesses): 동일한 두 개의 open-weight 모델을 사용했을 때도, 이 시스템만으로 성능이 0.80× (Codex)에서 0.99× (mini-SWE-agent, OpenClaw)로 향상됩니다. 이 시스템 데이터는 Joel Niklaus의 Harness Leaderboard에서 가져왔습니다. https://parsimony.lasu.dev https://github.com/La5u/Parsimony 더 찾아보고 있는 것: 최신 모델에 대한 공개 패치, 자체 실행 모델(self run models)을 위한 아이디어나 기여자분들. * 일부 최신 모델들은 codex와 claude 코드에서 자체적으로 실행되며, /u/lasushin이 제출한 DeepSWE에서 흐릿하게 (미검증) 표시되어 있습니다 [link] [comments]