모든 질문이 가장 비싼 모델을 사용할 가치가 있는 것은 아닙니다. 모든 쿼리를 최상위 티어 (frontier tier)로 보내는 것은 간단하지만 파멸적으로 비용이 많이 듭니다. 사소한 조회 (lookup)와 엄격한 증명 (proof)이 동일한 비용을 소모하기 때문입니다. Agentic AI from Zero의 Project 7은 작업을 해결하면서도 비용을 최소화하는 라우터를 구축합니다. 이 라우터는 사소한 조회는 저렴한 호출 (cheap call)로 보내고, 어려운 증명은 best-of-3 방식으로 격상(escalate)하며, 저렴한 답변의 확신도가 높으면 즉시 조기 종료(early exit)하고, 예산을 초과하기보다는 성능을 낮추는 방식을 취합니다. NVIDIA NIM을 대상으로 한 실제 6개 쿼리 실행 결과, $0.185790 대신 $0.039971이 소요되어 78.5%를 절감했습니다.

가격 사다리 (The price ladder)

모델 이름이 아닌 _노력 (effort)_에 따라 라우팅하세요. 각각 공개된 $/1k 요율을 가진 세 가지 티어가 있으며, escalate는 direct 가격의 약 60배입니다. 이것이 바로 라우팅이 보상을 제공하는 정확한 이유입니다:

PRICE_TABLE = {                                       # 가장 저렴함 → 가장 비쌈
  "direct":   Tier("direct",   0.0005, 1, "one terse call — a cheap model"),
  "cot":      Tier("cot",      0.0030, 1, "one call that reasons step-by-step"),
...

무료로 분류하고, 그 다음 라우팅하세요

저렴한 키워드 휴리스틱 (heuristic) — API 호출 없음, $0 — 을 사용하여 각 쿼리를 trivial / medium / hard로 점수화하고 이를 진입 티어(direct / cot / escalate)에 매핑합니다. 모델은 스스로 자신의 티어를 선택하지 않습니다.

라우팅 루프: 분류 → 예산 → 실행 → 게이트 (classify → budget → run → gate)

전체 정책은 결정론적(deterministic)인 Python으로 작성되었습니다. 분류하고, 원하는 티어를 예산이 감당할 수 없다면 사다리를 한 단계 내려가고(step down), 실제 호출을 실행한 뒤, 신뢰도 게이트 (confidence gate)를 확인합니다. 확신이 있다면 조기 종료하고, 불확실하면서 동시에 예산이 허용되는 경우에만 한 단계 격상합니다:

comp = classify_complexity(query)                  # $0, 결정론적
want = entry_tier(comp.label)
tier = budget.best_affordable_at_or_below(want, query)   # 너무 비싸면 단계 DOWN
...

이 분리는 핵심적인 목적을 가집니다. 모델은 오직 답변하고, 추론하며, _자신의 확신도(self-rates its confidence)_를 평가할 뿐입니다. 모델은 티어(tier)를 선택하거나, 예산을 설정하거나, 조기 종료(early-exit)를 결정하거나, 가격을 계산하지 않습니다. escalate가 Best-of-N을 실행할 때조차 선택 과정은 결정론적(deterministic)입니다. 즉, 모델은 N개의 다양한 샘플을 제안하고, Python이 그중 가장 확신도가 높은 것을 유지합니다.

한 번의 실행이 입증하는 네 가지 사항

• 토큰 예산 책정 (Token budgeting) — 모든 쿼리는 엄격한 $ 상한선을 가집니다. 5번 쿼리의 타이트한 $0.0040 예산은 원하는 escalate를 차단했고, 따라서 초과 지출하는 대신 CoT(Chain-of-Thought)로 _강등(degraded)_되었습니다.
• 복잡도 + 비용에 따른 라우팅 (Route by complexity + cost) — 휴리스틱(heuristic)이 API 호출 없이 모든 쿼리의 점수를 매기고 매핑했습니다.
• 확신도에 따른 조기 종료 (Early exit on confidence) — 6개 쿼리 중 3개가 저렴한 티어에서 멈췄는데, 이는 자가 평가된 확신도가 0.75를 넘었기 때문입니다. 라우터는 이들을 위해 escalate 비용을 지불하지 않았습니다.
• 의사결정당 비용 분석 (Cost-per-decision analytics) — 원장(ledger)은 실제 usage 토큰을 기준으로 모든 쿼리의 가격을 책정하고, 측정된 기준선(baseline) 대비 절감액을 보고합니다. 프런티어(frontier) 티어가 실제로 6개 쿼리 모두에 실행되었으므로, "78.5% 절감"은 주장이 아닌 측정값입니다.

그리고 정직한 실수도 하나 남겨져 있습니다. "양 17마리 중 9마리를 제외하고 모두 도망갔다"라는 수수께끼에 대해, 모델은 8이라고 답했고(정답은 9), 스스로의 확신도를 1.00으로 평가했습니다. 결과적으로 라우터는 확신에 찬 오답에 대해 조기 종료를 수행했습니다. 확신도 기반의 조기 종료는 큰 비용 절감을 위해 약간의 품질 리스크를 감수하는 방식이며, 이는 모델의 자기 교정(self-calibration) 능력에 달려 있습니다. 이것이 바로 예산과 감사 원장(audit ledger)이 모델이 건드릴 수 없는 코드 내에 존재하는 이유입니다.

실제 라우팅 파이프라인을 단계별로 살펴보고, 비용 원장과 측정된 기준선을 확인해 보세요. 저장소는 여기에서 확인할 수 있습니다: https://dev48v.infy.uk/agentic/project7-cost-router.html

다음 단계, Project 8: 이벤트 트리거 기반 자동화 에이전트입니다.