저는 3개월 동안 저의 Claude Code 지출을 추적했습니다. 모든 것을 바꿔 놓은 발견은 다음과 같습니다: 에이전트 턴(agent turns)의 60-70%는 프론티어 모델 (frontier model)이 필요하지 않다는 점입니다.

파일 읽기. Grep 명령. 테스트 재실행. 명확한 사양(spec)에 따른 간단한 편집. 이러한 작업들은 Opus에서와 동일한 결과를 Haiku에서도 만들어내지만, 비용은 1/60 수준입니다.

저를 설득한 수치들

1개월 차 (모두 Opus 사용, 라우팅 없음): ~$10,200
3개월 차 (태스크 레벨 라우팅 적용): ~$3,100

동일한 코드베이스. 동일한 속도. 중요한 작업에 있어서는 동일한 코드 품질.

왜 지금 이런 일이 일어나고 있는가

이번 주에만 세 가지 새로운 라우팅(routing) 도구가 출시되었습니다:

• Ramp Router (핀테크 기업 Ramp 제작) — 요청별로 라우팅하는 OpenAI 호환 엔드포인트
• Entelligence Model Router — 에이전트 턴마다 모델을 선택하며, Terminal Bench에서 직접 Opus를 사용하는 것과 비교 벤치마크 수행
• Frugal (오픈 소스) — 하위 태스크를 더 저렴한 티어로 위임하는 Claude Code 훅(hooks)

이러한 도구들을 LiteLLM, OpenRouter, Portkey와 같은 기존 옵션에 더하면, 라우팅은 명확히 기능(feature)이 아닌 하나의 카테고리가 되어가고 있습니다.

핀테크 기업, AI 스타트업, 그리고 오픈 소스 개발자가 며칠 만에 모두 동일한 아이디어를 출시했다는 사실은 무언가를 말해줍니다: 세션당 단일 모델을 사용하는 패러다임이 무너지고 있다는 것입니다.

효과적인 3단계 모델 구조

다양한 구성을 테스트한 결과, 다음과 같은 구조가 정착되었습니다:

1단계: 결정론적 (Deterministic) (모델 호출 없음)

셸 명령(shell command)이 질문에 답할 수 있는 경우 — grep, jq, git log, wc -l — 모델을 전혀 호출하지 마세요. 이는 에이전트 턴의 약 15-20%를 처리합니다.

2단계: 저렴한 모델 (Haiku / Luna / 유사 모델)

파일 위치 찾기, 텍스트 추출, 사양에 따른 기계적 편집, 로그 파싱, 간단한 리팩토링(refactor). 모델은 깊은 추론이 아니라 지시 사항을 따르기만 하면 됩니다. 턴의 약 40-50%를 차지합니다.

3단계: 프론티어 모델 (Frontier model) (Opus / Fable / GPT-5.5)

아키텍처 결정, 복잡한 디버깅(debugging), 디자인 리뷰, 새로운 알고리즘 구현. 모델의 품질이 실제로 결과물을 바꾸는 작업들입니다. 턴의 약 30-35%를 차지합니다.

에스컬레이션(Escalation) 문제

단순한 접근 방식은 저렴한 모델이 스스로 막혔을 때를 결정하게 하는 것입니다. 이 방식은 작동하지 않습니다. 제 테스트 결과, 저렴한 모델들은 양방향 모두에서 자신 있게 틀린 판단을 내렸습니다. 즉, 처리할 수 있는 작업을 할 수 없다고 주장하거나, 미묘하게 망가진 코드를 생성하고도 성공했다고 주장했습니다.

효과적인 방식은 **검증된 에스컬레이션 (verified escalation)**입니다. 테스트 스위트 (test suite), 컴파일러 (compiler), 스키마 검증 (schema validation), 또는 깔끔하게 적용되지 않는 디프 (diff)와 같이 구체적인 체크 단계가 실패했을 때만 다음 티어 (tier)로 넘어가는 방식입니다. 각 단계당 재시도(retry)는 최대 1회로 제한합니다.

변하지 않는 것

라우팅 (Routing)은 기계적인 작업에서 비용을 절감해 줍니다. 하지만 어려운 문제를 더 쉽게 만들어 주지는 않습니다.

만약 귀하가 Claude Code Max에 월 200달러를 지출하고 있으며 그 비용이 대부분 실제 추론 (reasoning) 작업에 쓰이고 있다면, 라우팅은 약 30%를 절감해 줄 수 있습니다. 만약 귀하가 API에 월 1만 달러를 지출하고 있으며 그중 절반이 grep과 유사한 작업에 Opus 토큰을 낭비하는 데 쓰이고 있다면, 라우팅은 70%를 절감해 줄 수 있습니다.

투자 대비 수익률 (ROI)은 '생각하는 시간'과 '타이핑하는 시간'의 비율에 달려 있습니다.

진짜 교훈

AI 코딩 비용에 관한 논의는 계속해서 "어떤 모델이 가장 저렴한가" 또는 "어떤 구독 서비스가 가장 이득인가"라는 틀에 갇혀 있습니다. 두 가지 모두 핵심을 놓치고 있습니다.

올바른 질문은 이것입니다: 에이전트 세션의 각 턴 (turn)마다, 동일한 결과를 만들어내는 가장 저렴한 모델은 무엇인가?

대부분의 경우, 그 답은 귀하가 현재 사용 중인 모델보다 더 저렴할 것입니다.

저는 지난 1년 동안 AI 코딩 에이전트로 앱을 구축해 왔습니다. 현재 iOS, 웹, API 전반에 걸쳐 10개 이상의 제품을 출시하고 있습니다. 위의 비용 데이터는 여러 코드베이스에 걸친 실제 운영 사용 데이터에서 추출되었습니다.