당신의 AI 에이전트는 생각보다 10 배 더 많은 API 호출을 보낸다고? 비용이 숨어 있는 곳은 여기다

누구도 예산에 반영하지 않는 숨은 승수
2026 년 초, 단일 턴 챗봇에서 에이전트 워크플로우로 전환했을 때 처음 고장 난 것은 코드가 아니라 예산 스프레드시트였습니다. 단순한 채팅 완료 (chat completion) 는 하나의 API 호출 비용입니다. 계획을 세우고 도구를 선택하며 실행하고 결과를 평가하여 최종 답변을 종합하는 에이전트는? 같은 사용자 요청이 이제 5 에서 20 회에 달하는 LLM 호출을 유발합니다. 때로는 그보다 더 많습니다.

지난 달 연구 작업 (웹 검색, 요약, 다중 홉 추론) 을 수행하는 프로덕션 에이전트와 실험을 진행했습니다. GPT-5 와 Claude 4.6 Opus 를 통해 단일 사용자 프롬프트당 평균 14 회 LLM 라운드트립이 발생했습니다. GPT-5 의 입력/출력 가격 기준으로 이 하나의 "단순한 질문" 비용은 $0.47 입니다. 일일 활성 사용자 1,000 명을 곱하면 계획하지 않았던 $470/일의 비용이 발생합니다.

비용이 실제로 숨어 있는 곳
게이트웨이 로그를 2 주 동안 모니터링한 결과, 다음과 같은 사실을 발견했습니다:

1. 계획 오버헤드 (Planning overhead)
   모든 에이전트 루프는 계획 단계로 시작합니다. 모델은 전체 대화 이력을 읽으며 어떤 도구를 호출할지 결정하고 구조화된 행동을 출력합니다. 이 단계만으로도 각 반복당 800~2,000 토큰의 입력을 소비할 수 있으며, 이는 매 루프마다 발생합니다. Claude 4.6 Opus 의 $15/입력 토큰 가격으로 계산하면, 5 회 반복을 수행하는 에이전트는 유용한 작업을 수행하기 전에 계획 단계만으로도 $0.06 를 지출합니다.

2. 컨텍스트 윈도우 부LOAT (Context window bloat)
   에이전트는 컨텍스트를 축적합니다. 4 번째 반복까지 프롬프트에는 원래 질문, 모든 이전 도구 출력, 모든 이전 추론 흔적, 그리고 전체 시스템 프롬프트가 포함됩니다. 저는 1 번 반복에서 1,200 토큰인 프롬프트가 6 번 반복에서는 18,000+ 토큰으로 성장하는 것을 측정했습니다. 이것이 교활한 부분입니다: 각 반복의 비용은 컨텍스트가 매 단계마다 증가하므로 초선형 (superlinear) 이기 때문입니다.

3. 도구 호출 중복성 (Tool call redundancy)
   에이전트는 언제 멈출지 아는 데 놀랍도록 나쁩니다. 우리 로그에서 23% 의 에이전트 실행은 적어도 하나의 중복 도구 호출을 수행했습니다 — 이미 찾은 것을 다시 검색하거나, 이미 요약한 문서를 다시 읽는 경우 등입니다. 각 중복 호출은 부LOAT 된 컨텍스트를 포함한 전체 LLM 라운드트립입니다.

4. 폴백 연쇄 실패 (Fallback cascade failures)
   주요 모델이 429 속도 제한이나 503 타임아웃을 반환하면 에이전트는 종종 다른 모델로 재시도합니다. 그러나 재시도는 컨텍스트를 처음부터 다시 재생합니다. 하나의 속도 제한 이벤트만으로도 단일 에이전트 턴의 비용을 3 배로 증가시킬 수 있습니다.

5. 다중 모델 설정에서의 토큰 증폭 (Token amplification in multi-model setups)
   에이전트가 GPT-5, Claude 4.6, DeepSeek V3 등 다른 하위 작업 (2026 년 프로덕션 설정에서 일반적임) 을 위해 모델을 라우팅할 때, 각 모델은 다른 토크나이저를 사용합니다. 동일한 프롬프트도 모델마다 다르게 토크나이징됩니다 — OpenAI 와 Anthropic 토크나이저 간 동일한 텍스트의 토큰 수 변동이 최대 15% 까지 발생했습니다. 하나의 토크나이저를 기반으로 한 비용 추정은 다른 모델에 대해서는 틀립니다.

비용 통제를 위해 실제로 작동하는 것
원치 않는 예산을 많이 소진한 후, 우리가 구현한 내용은 다음과 같습니다:

게이트웨이 레벨 토큰 회계 (Gateway-level token accounting)
비용 추적을 애플리케이션 레벨 로깅에 의존하지 마십시오. 애플리케이션 코드는 요청이 전송되기 전에 요청을 보지만, 게이트웨이는 실제 토큰을 봅니다.