지난달, 저는 팀의 개발 워크플로우를 에이전트 기반 코딩 도구(agentic coding tools), 구체적으로 Claude Code와 Cursor의 Agent 모드로 완전히 전환했습니다. 생산성 향상은 즉각적이었습니다. 예전에 3시간이 걸리던 작업들이 15분 만에 완료되었습니다.

하지만 2주 후, 저는 AWS Bedrock 및 Anthropic API 콘솔을 확인했습니다.

저희의 청구 금액은 1,200달러 이상으로 급증해 있었습니다. 한 개발자는 단 한 번의 오후 작업만으로 90달러의 비용을 발생시키기도 했습니다.

만약 여러분이 이러한 도구들을 사용해 왔다면, 아마도 이런 불안감을 느껴보셨을 것입니다. 특정 작업이 0.05달러가 들지, 아니면 15.00달러가 들지 알 수 없기 때문에 도구를 실행하기를 주저하게 됩니다.

일주일 동안 API 호출 로그를 심층 분석하고 프리픽스 캐시(prefix cache)를 디버깅한 끝에, 저는 왜 이러한 비용이 폭증하는지에 대한 정확한 수학적 원리를 파악했습니다. 그리고 출력 품질을 저하시키지 않으면서 토큰 소비량을 70% 이상 절감하는 워크플로우를 구축했습니다.

다음은 내부에서 실제로 어떤 일이 일어나고 있는지에 대한 엔지니어링 분석입니다.

O(N²) 컨텍스트 세금 (The O(N²) Context Tax)

대부분의 개발자는 AI 비용이 선형적으로(linearly) 증가한다고 가정합니다. 즉, 프롬프트를 보내고, 토큰에 대한 비용을 지불하면, 응답을 받는 방식입니다.

Claude Code나 Cursor Agent 모드와 같은 에이전트 기반 시스템은 이런 방식으로 작동하지 않습니다. 이들은 **이차 비용 모델(quadratic cost model)**로 작동합니다. 이러한 도구들은 상태(state)를 유지해야 하기 때문에, 매 턴(모든 새로운 메시지)마다 시스템 프롬프트(system prompts)와 도구 정의(tool definitions)를 포함한 전체 대화 기록을 다시 전송합니다.

만약 각 턴마다 대화 기록에 약 500개의 새로운 코드/토론 토큰이 추가되고, 시스템 프롬프트 + 설정(config)이 2,000 토큰이라면:

• Turn 1: 2,000 (System) + 500 = 2,500 입력 토큰
• Turn 10: 2,000 + 5,000 = 7,000 입력 토큰
• Turn 30: 2,000 + 15,000 = 17,000 입력 토큰
• Turn 50: 2,000 + 25,000 = 27,000 입력 토큰

50번째 턴에 이르면, _"fix that typo"_와 같은 단순한 프롬프트 하나에 27,000개의 입력 토큰이 소모됩니다. 50턴의 세션 동안 누적된 입력 소비량은 737,500 토큰에 달합니다.

Claude 3.5 Sonnet (입력 토큰 100만 개당 $3, 출력 토큰 100만 개당 $15) 기준, 단 한 번의 50턴 세션에 $13.27이 소모됩니다. 이러한 세션을 하루에 15번 실행한다면, 하루에 $200를 지출하게 됩니다.

손실을 막는 방법은 다음과 같습니다.

1. Prefix Cache Hit을 위한 구조화 (90% 할인)

Anthropic은 프롬프트 캐싱 (Prompt Caching)을 지원하며, 캐시 히트 (Cache Hit) 시 일반 입력 토큰 가격의 1/10만 부과합니다 ($3.00/MTok 대신 $0.30/MTok).

하지만 Claude의 프롬프트 캐시는 **접두사 기반 (Prefix-based)**입니다. 이는 캐시가 첫 번째 토큰부터 순차적으로 일치해야 함을 의미합니다. 프롬프트 앞부분에서 단 한 글자라도 바뀌는 순간, 그 이후의 모든 캐시는 무효화됩니다.

이를 최대한 활용하려면:

• CLAUDE.md 파일을 정적으로 유지하세요. 세션 중에 CLAUDE.md를 수정할 때마다 이후 모든 턴에 대한 캐시가 무효화됩니다. 규칙은 한 번 작성하고 그대로 두십시오.
• 동적 콘텐츠를 하단에 배치하세요. 시스템 프롬프트 (System Prompt), 도구 정의 (Tool Definitions), 대규모 라이브러리 문서 등을 가장 먼저 (컨텍스트의 상단) 로드하고, 구체적인 파일 수정 사항과 질의는 맨 마지막에 추가되도록 하십시오. (다행히 Claude Code는 이 순서를 자동으로 처리하지만, 커스텀 스크립트를 작성하거나 Cursor를 사용하는 경우 이 레이아웃을 염두에 두어야 합니다).

2. 체크포인팅 패턴 (상태의 외부화)

터미널에서 길고 복잡한 다회차 대화를 계속 유지하는 대신, 상태 (State)를 로컬 파일로 옮기십시오. 저는 이를 **체크포인팅 (Checkpointing)**이라고 부릅니다.

작업이 길어질 때 (15~20턴 이후):

1. 에이전트에게 요청합니다: "현재 구현 계획을 plan.md에 작성하고, 파일 상태를 status.json에 작성해줘."
2. /clear 명령어를 실행하여 대화 기록을 삭제합니다.
3. 새로운 세션을 시작합니다: "plan.md와 status.json을 읽어줘. 4단계부터 계속 진행해."

이 간단한 루프는 누적된 $O(N^2)$ 히스토리를 제거하여, 에이전트에게 정보를 완전히 제공하면서도 입력 토큰 비용을 다시 기본 수준으로 낮춰줍니다.

3. 세션 지출을 로컬에서 추적 및 제한

제약 조건 없이 에이전트를 개방형 루프 (open-ended loop)로 실행하지 마세요.

첫째, ccusage를 사용하세요. 이는 로컬 API 로그를 오프라인으로 모니터링할 수 있는 환상적인 오픈 소스 CLI 도구입니다. 이 도구는 Claude Code, Copilot 및 기타 도구에 대한 일간, 주간 및 세션별 비용을 보여줍니다.

# 일일 지출을 확인하기 위해 ccusage 실행
bunx ccusage claude daily

둘째, 자율 루프 (autonomous loops)를 실행할 때는 프롬프트에 경계 조건을 강제하세요:

"src/auth/tests 내의 실패하는 테스트를 수정하세요. 테스트를 수정하거나 8회 반복 중 먼저 도달하는 시점에 중단하세요.""

추가 읽을거리

모델 라우팅 전략 (model routing strategies), 새로운 Claude Fable 5 / Opus 4.8 모델에 대한 가격 세부 정보, 그리고 정확한 설정 규칙을 상세히 다룬 전체 엔지니어링 플레이북을 저희 블로그에 게시했습니다:

👉 AgDex에서 2026 토큰 및 API 예산 최적화 가이드 전문 읽기

여러분은 코딩 에이전트를 통해 API 지출을 어떻게 최적화하고 계신가요? 댓글로 알려주세요.