10개 코딩 에이전트와 하나의 Qwen 3.8 27B, 동일한 llama-server 사용: 통과율보다 토큰 및 캐시 재사용률의 차이가 더 크다

요약

본 기사는 Qwen 3.8 27B 모델을 사용하여 10개 코딩 에이전트의 성능을 비교 분석한 연구 결과입니다. 단순히 작업 통과율보다 토큰 사용량이나 캐시 재사용률 같은 효율성 지표가 에이전트 간의 핵심 차이를 보여줍니다. 특히 Atomic Agent와 DeepSeek Harness 등 특정 구조를 가진 에이전트들이 높은 자원 효율성을 입증했습니다.

핵심 포인트

• 에이전트 성능은 통과율보다 토큰 및 캐시 재사용률 같은 효율성 지표가 중요합니다.
• Atomic Agent는 llama.cpp 네이티브 엔드포인트를 사용하여 높은 캐시 재사용률을 달성했습니다.
• DeepSeek Harness는 알파 버전임에도 우수한 성능과 낮은 자원 소모를 기록하며 주목받았습니다.
• 로컬 LLM 기반 테스트 환경에서 에이전트별 효율성 차이가 명확하게 드러났습니다.