200개 에이전트와 2,011,438개의 툴 호출: 누가 당신의 AI 비용을 지불하는가?

제가 함께 일했던 팀은 지난 분기에 내부 에이전트 200개를 출시했습니다. 월별 청구서에는 2,011,438개의 툴 호출(tool calls)이 기록되었습니다. 재무팀에서는 늘 하던 질문을 던졌습니다: '어떤 모델이 우리 예산을 소모하고 있나요?'

직관적인 대답인 '당연히 최첨단 모델(frontier model)이죠'는 틀렸습니다. 그리고 왜 그것이 틀렸는지에 대한 설명은 에이전트 시스템이 실제로 어떻게 돈을 쓰는지에 대해 유용한 정보를 제공합니다.

반직관적인 부분

에이전트 루프에서 발생하는 대부분의 토큰 지출은 여러분이 상상하는 어려운 추론 단계(hard reasoning step)에 있지 않습니다. 그것은 지루한 중간 과정, 즉:

• 모델이 이미 본 문서를 재포맷하는 60줄 분량의 검색(retrieval)
• 두 툴 사이에서 JSON을 재구성하는 작업
• 모든 액션 전에 실행되는 '다음 툴은 무엇인가?' 분류기(classifier)
• 아무도 읽지 않는 녹취록을 요약하는 과정

이러한 어떤 것도 최첨단 모델을 필요로 하지 않습니다. 그들은 하나의 모델, 즉 특정 하위 작업에 할당되는 저렴한 모델만 필요합니다. 하지만 에이전트는 전체 루프를 위해 하나의 '기본(default)' 모델과 연결되어 있었기 때문에, 모든 하위 작업이 최첨단 가격을 지불하게 된 것입니다.

우리가 측정해 보니, 청구서의 약 **80%**는 더 작은 모델에서 비용이 약 1/20 수준으로 절감되면서도 품질 기준을 통과한 하위 작업들이었습니다.

이것은 프롬프팅 문제가 아니라 라우팅 문제입니다

이것을 더 영리한 시스템 프롬프트로 고칠 수는 없습니다. _하위 작업 경계(sub-task boundary)_를 라우터에게 보이게 만듦으로써 해결해야 합니다.

agent.llm = frontier_model 대신, 각 하위 작업은 자신이 무엇을 필요로 하는지 선언합니다:

subtasks:
  retrieve_context:
    min_capability: embedding-lookup
...

라우터는 min_capability를 충족하는 가장 저렴한 모델을 선택합니다. 에이전트의 동작은 변하지 않습니다. 청구서만 바뀝니다.

flowchart LR
    A[하위 작업 발생] --> R{라우터}
    R -->|embedding-lookup|[작은 검색기]
...

단계별 비용 귀속이 빠진 절반입니다

라우팅은 그것을 볼 수 있을 때만 도움이 됩니다. 대부분의 팀은

def route(subtask):
model = cheapest_that_clears(subtask.min_capability)
cost = price_per_1k[model] * estimate_tokens(subtask)
...

이제 청구서는 역량 등급별로 다음과 같이 읽힙니다: “검색(retrieval) $X, 분류(classification) $Y, 합성(synthesis) $Z.” 합성 비용이 급증하면, 어떤 모델을 탓할지보다 어느 하위 작업(sub-task)부터 개선해야 할지 알게 됩니다.

비용과 규제가 같은 계층에서 수렴하다

팀원들을 놀라게 한 것은 바로 이것입니다. 라우터가 데이터 거주성 규칙(data-residency rules)이 존재해야 하는 곳이기도 했습니다. 일부 하위 작업은 규제 대상 고객 데이터를 다루었기 때문에, 더 저렴한 모델이 다른 곳에 있더라도 PDPA를 준수하고 SG에서 호스팅되는 지역에 머물러야 했습니다.

따라서 비용을 절감하는 라우팅 계층이 관할권(jurisdiction)까지 강제했습니다. 비용 최적화와 규정 준수는 더 이상 별개의 회의 주제가 아니었습니다. 하나의 설정 블록(config block)이 된 것입니다.

이것이야말로 진정한 핵심입니다: 라우팅 계층은 단순히 견뎌야 하는 인프라가 아닙니다. 그것은 당신의 비용 그리고 제약 조건이 코드로 표현되는 곳입니다.

여러분께 던지는 질문

만약 에이전트 루프(agent loop)의 모든 하위 작업을 해당 품질 기준을 충족하는 가장 저렴한 모델에 매핑한다면, 현재 청구서 중 얼마나 많은 부분이 살아남을까요?

팔 제품도, 클릭할 링크도 없습니다. 단지 이것뿐입니다: 대부분의 에이전트 비용은 사실 위장된 라우팅 비용입니다.