에이전트 루프(Agentic loops)를 위한 실행 전 비용 시뮬레이터 구축 — 13개 모델, API 호출 0회, 오프라인 작동 - Insights | Molayo

문제점

에이전트 루프(Agentic loops)는 청구서가 도착하기 전까지는 명확히 알 수 없는 방식으로 비용을 누적시킵니다.

Iteration 1: $0.19. Iteration 30: $2.48. 동일한 에이전트, 동일한 작업 — 모델은 매 턴마다 전체 컨텍스트(full context)를 다시 읽습니다. 20번째 반복(iteration)에 도달하면 동일한 컨텍스트에 대해 20번의 비용을 지불하게 됩니다.

내가 만든 것

LoopLens는 실행 전 비용 시뮬레이터(pre-run cost simulator)입니다. 루프를 실행하기 전에 설정을 구성하고 반복(per-iteration)별 상세 내역을 확인할 수 있습니다.

모델링 대상:

4가지 컨텍스트 누적 전략 (full, sliding window, summarization, stateless)
도구 호출 오버헤드 (web search, code execution, RAG, browser, external API)
멀티 에이전트 팬아웃 (orchestrator + N subagents)
프롬프트 캐싱 (Prompt caching) 손익분기점 분석
Anthropic, OpenAI, Google, DeepSeek에 걸친 13개 모델 — 나란히 비교

테스트 구성의 실제 수치

30 iterations · Claude Sonnet 4.6 · 4 parallel subagents · web search + code execution:

총합: $39.96
DeepSeek V4 Flash에서 동일한 루프 실행 시: $1.85 (95% 절감)
캐싱 손익분기점: 1회 실행 시, 월 $23.33 절약
Sliding window vs full accumulation: 85% 절감

아키텍처

순수 결정론적 수학(Pure deterministic math) — API 호출 0회, 완전히 오프라인에서 작동합니다. 가격 정보는 페이지 로드 시 LiteLLM 커뮤니티 가격 JSON에서 실시간으로 가져오며, 세션 캐시로 6시간 동안 유지되고, GitHub Actions를 통해 매주 업데이트되는 하드코딩된 폴백(fallback)이 제공됩니다. 상태 배지는 어떤 레이어가 활성화되어 있는지 보여줍니다.

차이점: 다른 모든 비용 도구(Langfuse, Helicone, Braintrust, Bifrost, W&B)는 사후 관측성(post-hoc observability) 도구입니다. LoopLens는 제가 알고 있는 유일한 실행 전 시뮬레이터입니다.