Claude Code가 승리했습니다. 하지만 그것이 우리 연구에서 가장 흥미로운 부분은 아니었습니다.

지난 몇 달 동안, 저는 충분한 관심을 받지 못하고 있다고 생각되는 질문을 던져왔습니다.

모두가 코딩 에이전트 (coding agents)가 작업을 해결하는지 여부로 벤치마크 (benchmark)를 수행합니다. 하지만 그들이 당신이 원하는 방식대로 해결하는지는 어떻게 측정할 수 있을까요? 참고로, 저는 Tessl에서 근무하고 있습니다 (미리 밝혀둡니다).

이것이 이번 연구로 이어졌으며, 저희는 에이전트 기술 (agent skills)을 위한 평가 프레임워크 (evaluation framework)를 구축하고, 이를 사용하여 약 500개의 실제 기술 (real-world skills)과 약 1,000개의 생성된 코딩 작업 (generated coding tasks)에 걸쳐 19개의 에이전트/모델 구성 (agent/model configurations)을 평가했습니다.

이 커뮤니티에서 흥미로울 수 있는 결과 중 하나는 Claude Code의 성능이었습니다. 최첨단 Anthropic 모델들이 전반적으로 가장 강력했지만, 주목할 만한 점은 적절한 기술 (skill)이 행동을 얼마나 많이 변화시켰는가 하는 점이었습니다. 대부분의 우수한 모델들은 이미 작업을 완료할 수 있었습니다. 차이점은 그들이 기술에 인코딩된 워크플로우 (workflow), 컨벤션 (conventions), 그리고 선호도 (preferences)를 따르는지 여부였습니다.

이는 단순히 모델이 벤치마크를 완료할 수 있는지 묻는 것보다 프로덕션 (production) 환경에서 더 유용한 질문이라고 느껴집니다.

제가 예상하지 못했던 또 다른 점은, 적절한 기술이 있다면 더 저렴한 모델들이 지시 이행 (instruction following) 측면에서 플래그십 (flagship) 모델들에 놀라울 정도로 근접하는 경우가 종종 있었다는 것입니다. (네, 실제로 일어난 일입니다)

Claude Code를 사용하는 다른 분들도 비슷한 경험을 하셨는지 궁금합니다.

전체 연구 논문 읽기: https://arxiv.org/abs/2606.17819v1
/u/rohansrma1 님이 제출함
[link] [comments]