• AI 에이전트의 실운영(Production) 비용은 'LLM API 요금'만이 아니다. 네트워크 전송·스토리지·스케일 아웃(Scale-out)으로 인한 컴퓨팅(Compute) 증가가 3대 블라인드 스팟(Blind Spot)
• Google Cloud가 발표한 조사에 따르면, LLM 추론 비용 이외의 인프라 비용이 총 비용의 **40~60%**를 차지하는 사례가 보고되고 있다
• 비용 최적화 접근 방식은 '모델 선택', '캐시 전략', '오케스트레이션(Orchestration) 설계', '관측 가능성(Observability)', '과금 단위의 입도(Granularity)'의 5개 축으로 체계화할 수 있다

GPT-4o나 Claude 3.5 Sonnet의 요금표를 확인하고 '1M 토큰당 $X'라는 숫자를 파악했을 때, 많은 엔지니어는 비용 계획이 완성되었다고 생각하기 쉽습니다. 하지만 실운영 트래픽이 늘어나기 시작하면 예상치 못한 청구서가 도착합니다.

AI 에이전트 시스템 특유의 비용 발생원을 정리하면 다음과 같은 구조가 됩니다.

총 비용
├── LLM 추론 비용 (per token / per request)
│ ├── 입력 토큰
...

특히 **RAG 파이프라인 (RAG Pipeline)**과 **멀티 스텝 에이전트 (Multi-step Agent)**의 조합은, 한 번의 사용자 요청이 수십 번의 LLM 호출과 대량의 벡터 검색으로 전개됩니다. 이때 '네트워크 전송'과 '벡터 DB 읽기/쓰기' 비용이 쌓여 LLM 추론 비용과 대등하거나 그 이상이 될 수 있습니다.

AWS / GCP / Azure는 모두 리소스 태그를 통한 비용 분류를 지원합니다. AI 에이전트 시스템에서는 최소한 다음의 축으로 태그를 설정할 것을 권장합니다.

OpenTelemetry의 시맨틱 규약(Semantic Convention)에는 LLM 관련 span 속성이 추가되고 있습니다. 예를 들어 gen_ai.usage.input_tokens / gen_ai.usage.output_tokens를 span에 기록해 두면, Grafana / Honeycomb에서 '어떤 경로가 가장 많은 토큰을 소비하는지'를 시각화할 수 있습니다.

LangChain / LlamaIndex / LangGraph를 사용하고 있는 경우에는 LangSmith나 Arize Phoenix (Apache-2.0)를 조합하면 스텝별 토큰 소비를 자동으로 수집할 수 있습니다.

# Arize Phoenix를 사용한 최소 트레이스(Trace) 예시 (공식 문서에서 발췌)
import phoenix as px
from openinference.instrumentation.openai import OpenAIInstrumentor
...

참조: Arize Phoenix — Apache License 2.0

모든 요청을 프론티어(Frontier) 모델에 던질 필요는 없습니다. 태스크의 복잡도에 따라 모델을 동적으로 전환하는 'LLM 캐스케이드 (LLM Cascade)'가 효과적입니다.

[라우팅 판정]
│
├── 단순 FAQ → small model (Gemini Flash / Llama 3.1 8B 등)
...

라우팅 판정 자체도 경량 모델로 수행하거나, 규칙 기반의 휴리스틱(Heuristic, 토큰 수·키워드·사용자 플랜)으로 구현하면 판정 비용을 최소화할 수 있습니다.

OpenRouter의 :free 모델이나, Ollama로 셀프 호스팅한 Qwen2.5 등을 small tier로 포함하면 버스트(Burst) 발생 시의 비용을 대폭 억제할 수 있습니다.

Anthropic의 Claude API는 **프롬프트 캐싱 (Prompt Caching)**을 제공하며, 동일한 system prompt가 반복해서 사용되는 경우, 2회차 이후의 캐시 히트(Cache Hit) 시 입력 토큰 비용이 최대 90% 절감됩니다.

• Anthropic Prompt Caching: 입력 비용이 통상의 10%로 감소
• OpenAI: 1024 토큰 이상의 동일한 프리픽스(Prefix)에 대해 자동 캐싱 (2024년~)
• Google Gemini: 컨텍스트 캐싱 (Context Caching)으로 제공

RAG 시스템은 "정적인 시스템 프롬프트 + 대량의 컨텍스트"라는 구조가 많아, 이곳이 캐싱이 효과적으로 적용되는 전형적인 사례입니다.

# Anthropic Prompt Caching 활용 예시 (공식 문서로부터)
messages = [
{
...

참조: Anthropic Prompt Caching Docs

에이전트의 "스텝 수"는 비용과 직결됩니다. 다음과 같은 안티 패턴(Anti-pattern)이 특히 문제가 되기 쉽습니다.

안티 패턴 1: 불필요한 중간 단계

# ❌ 비효율적: 4단계를 거쳐 실시
step1: "사용자의 의도를 이해하고 요약하라"
step2: "요약을 바탕으로 검색 쿼리를 생성하라"
...

안티 패턴 2: 너무 큰 컨텍스트 윈도우 (Context Window)

RAG에서 100개의 청크(Chunk)를 채워 넣기 전에, top_k의 적정값을 오프라인 평가를 통해 측정하십시오. 많은 경우 top_k=5~10이 정확도와 비용의 균형점(Balance point)이 됩니다.

비용 이상을 조기에 감지하기 위해, 다음과 같은 메트릭(Metric)을 모니터링에 포함합니다.

특히 에이전트 루프의 폭주 (도구 호출이 수렴하지 않는 상태)는 짧은 시간 내에 수십 달러의 청구로 이어질 수 있으므로, 스텝 수 상한 (max_iterations) 설정은 필수입니다.

LangGraph에서는 recursion_limit으로, AutoGen에서는 max_consecutive_auto_reply로 설정할 수 있습니다.

# LangGraph: 루프 상한 설정
from langgraph.graph import StateGraph
graph = StateGraph(State)
...

참조: LangGraph Docs — MIT License

pgvector (PostgreSQL 확장 · PostgreSQL License)는 기존의 PostgreSQL 인프라가 있는 경우 가장 비용 효율적인 선택지입니다. Pinecone과 같은 매니지드 벡터 DB는 편리하지만, 벡터 수가 늘어나면 월간 비용이 급등합니다.

OpenAI text-embedding-3-small ($0.02/1M 토큰)은 text-embedding-ada-002 ($0.10/1M 토큰)의 1/5 비용으로, 많은 유스케이스에서 동등하거나 그 이상의 성능을 발휘합니다. 또는 sentence-transformers (Apache-2.0)를 셀프 호스트하면 API 비용 없이 임베딩(Embedding) 생성이 가능합니다.

월간 비용을 추산할 때의 스프레드시트 방식 사고 흐름을 보여드립니다.

월간 세션 수: N
평균 입력 토큰/세션: Ti
평균 출력 토큰/세션: To
...

이 계산식에서 가장 효과가 큰 것은 "평균 스텝 수 S"입니다. S를 5에서 3으로 줄일 수 있다면, LLM 추론 비용은 40% 절감됩니다. 이것이 오케스트레이션 (Orchestration) 설계 개선이 최우선 순위가 되어야 하는 이유입니다.

AI 에이전트의 비용은 다층 구조를 가지고 있으며, "LLM의 토큰 요금만 보는 것"으로는 전체상을 파악할 수 없습니다.

실운영에 들어가기 전 단계부터 "비용을 가시화할 수 있는 상태"를 만들어 두는 것이, 스케일 아웃 (Scale-out) 시의 사고를 방지하는 최선의 방법입니다.

• Google Cloud: The hidden costs of AI agents (2026)
• Anthropic Prompt Caching — Anthropic 공식
• OpenTelemetry Semantic Conventions for GenAI — Apache-2.0
• Arize Phoenix — Apache-2.0
• LangGraph — MIT
• pgvector — PostgreSQL License
• sentence-transformers — Apache-2.0

✍️ 본 기사의 저자: 합동회사 지모라보 (Jimolab LLC)

지모라보는 하치오지를 거점으로 AI를 활용한 SaaS를 다수 개발하고 있습니다. 본 기사의 기술 검증도 그러한 개발 과정의 부산물입니다.

• 🌐 공식 사이트: https://locallab.jp
• 🔍 AI SEO 최적화 SaaS: lookupai.jp
• 📺 YouTube: @locallab_llc
• ✉️ 문의하기: info@locallab.jp

관심이 생기셨다면, 꼭 각 SNS 팔로우도 부탁드립니다!

, LLM

, 비용 최적화

, OpenTelemetry

, RAG