Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 코딩 에이전트의 경제성은 마케팅 열광에 가려져 객관적인 논의가 부족하다. 독립적인 벤치마크 결과는 Claude Code가 경쟁 모델 대비 높은 비용과 토큰 소비를 보였음을 지적한다. 따라서 AI 발전은 단순히 모델 성능보다, 낮은 비용으로 검증된 생산성을 제공하는 효율적인 '하네스(harness)' 시스템에 달려있다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X AI 사용법/팁의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 코딩 에이전트는 소프트웨어 개발을 혁신하고 있으며, 일반인들이 한때 전문 프로그래머와 값비싼 개발팀, 그리고 몇 달의 작업 시간이 필요했던 애플리케이션을 만들 수 있게 합니다. 하지만 이러한 에이전트들의 경제성은 객관적으로 논의되는 경우가 드뭅니다. 대중성, 마케팅, 소셜 미디어의 열광은 측정 가능한 성능을 종종 가립니다.
Claude Code는 대표적인 예입니다. Anthropic은 개발자들이 Claude 모델을 사용할 때, 특히 토큰 기반 API 결제를 통해 상업적으로 이익을 얻습니다. 이는 추론 수익(inference revenue) 극대화와 사용자 컴퓨팅 비용 최소화 사이에 잠재적 충돌을 만듭니다. 이러한 인센티브가 실제로 비효율성을 초래하는지는 증거를 통해 입증되어야 합니다.
최근의 독립적인 벤치마크는 상당한 차이를 보여줍니다. FrontierHarness는 Kimi K3 모델을 12개의 에이전트 구성으로 30가지 소프트웨어 엔지니어링 작업에 걸쳐 테스트했습니다. Claude Code는 평균 비용 $18.34로 63.3%의 성공률을 달성했습니다. DeepSeek Harness Creator는 동일한 성공률을 $3.28로 달성했으며, Pi는 60%의 성공률을 $2.43에 달성했습니다. Claude Code는 더 높은 성공률을 달성하지 못했음에도 불구하고 DeepSeek Creator보다 5.6배 더 비쌌습니다. GitHub
별도의 Composio 실험에서 GPT-6 Astra를 사용했을 때, Claude Code는 작업당 $15.72의 비용이 발생한 반면, 경쟁하는 다섯 개의 하네스(harness)들은 $1.20~$1.63을 기록했습니다. 또한 Claude Code가 가장 많은 토큰을 소비했으며 작업 완료 순위도 4위에 그쳤습니다. 또 다른 통제된 DeepSeek V4 Pro 비교에서는 Claude Code가 DeepSeek Harness보다 7.3배 더 많은 토큰을 소모하면서도 더 적은 작업을 완료하는 것으로 나타났습니다. Composio Research +1
HarnessTax 연구는 추가적인 확인을 제공합니다. 21개의 모델-하네스 조합에 걸쳐, 연구원들은 하네스를 변경하는 것이 정확성(correctness)보다 비용에 훨씬 더 큰 영향을 미친다는 것을 발견했습니다. 심지어 Claude의 자체 모델조차도 더 단순한 Pi 하네스를 사용하여 현저히 낮은 비용으로 유사한 결과를 달성할 수 있었습니다. https://t.co/kYVCK4yBBu
이러한 발견들은 기존 AI 순위 평가의 근본적인 약점을 드러냅니다. 모델 자체만으로는 생산성을 결정하지 못합니다. '하네스(harness)'가 컨텍스트 관리(context management), 도구 실행(tool execution), 재시도(retries), 캐싱(caching), 토큰 소비를 제어하기 때문입니다. 비효율적인 하네스는 더 나은 소프트웨어를 생산하지 못하면서 비용만 증가시킬 수 있습니다.
이는 저렴한 중국 모델, 오픈소스 하네스(open-source harnesses), 그리고 로컬 추론(local inference)이 소프트웨어 개발을 수십억 명의 잠재적 사용자에게 접근 가능하게 만들면서 특히 중요합니다. 경제적 기회는 기존 구독 서비스 대체에 그치지 않습니다. 개인들은 전문화된 애플리케이션을 만들고, 개인 워크플로우를 자동화하며, 이전에 비용이 너무 많이 들어 정당화하기 어려웠던 작업을 위해 저렴한 하드웨어를 재활용할 수 있습니다.
미래는 반드시 가장 많이 홍보되는 AI 에이전트에게 속하는 것이 아니라, 가장 낮은 비용으로 최고의 검증된 생산성을 제공하는 시스템에 속할 것입니다. 지속적인 학습(Persistent learning), 재사용 가능한 기술(reusable skills), 효율적인 실행(efficient execution), 그리고 모델을 선택할 자유가 점점 더 중요해질 것입니다.
AI 발전의 올바른 측정 기준은 에이전트가 소비하는 토큰 수나 제공업체가 창출하는 수익액이 아닙니다. 그것은 달러당 얼마나 많은 유용하고 검증된 작업을 수행하느냐입니다.
이것이 바로 마케팅 주도형 AI 경제학과 증거 기반의 기술적 진보 사이의 차이입니다.