대부분의 LLM API는 토큰 단위로 비용을 청구합니다. 에이전트를 구축하거나, 긴 문서를 처리하거나, 다중 턴 대화를 실행하는 경우, 이 측정 단위가 월별 클라우드 청구서에서 가장 중요한 변수가 됩니다. 본 가이드에서는 토큰 기반 가격 책정이 어떻게 구성되는지, 숨겨진 비용은 어디에 나타나는지, 그리고 프로덕션 배포 전에 지출을 모델링하는 방법을 설명합니다. 또한, 토큰 계산 자체를 완전히 제거하는 Oxlo.ai와 같은 요청 기반 대안도 살펴보겠습니다.

토큰이란 무엇인가?

토큰은 단어가 아닙니다. 바이트 쌍 인코딩(BPE) 또는 유사한 토크나이저가 생성하는 하위 단어 단위입니다.

하지만 비용이 많이 드는 미묘한 세부 사항은 전체 컨텍스트 창(context window)이 매번 응답할 때마다 재청구된다는 것입니다. 20턴의 대화에서, 최신 메시지만에 대해서만 비용을 지불하는 것이 아닙니다. 시스템 프롬프트와 모든 20턴의 기록에 대해 매번 비용을 지불합니다. 도구 결과(tool results)와 사고 과정(chain-of-thought reasoning)을 컨텍스트에 추가하는 에이전트(agents)의 경우, 입력 토큰 볼륨은 이차적으로 증가합니다.

실제 비용 추정하기

표준 공식은 간단합니다:

def estimate_cost(input_tokens, output_tokens, input_rate, output_rate):
    ""
    요금은 100만 토큰당 비용으로 책정됩니다.
...

여기서 문제가 되는 부분은 입력 길이의 민감도입니다. 텍스트 다섯 개의 청크(chunks)를 주입하는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 파이프라인은 쉽게 8,000~16,000개의 입력 토큰에 도달할 수 있습니다. 여기에 상세한 시스템 프롬프트와 다중 턴 기록을 추가하면, 단일 에이전트 단계만으로도 32,000개가 넘는 입력 토큰을 초과할 수 있습니다. 입력 요금이 컨텍스트 창의 모든 토큰에 적용되기 때문에, 긴 컨텍스트 작업 부하는 모델이 단 하나의 완료(completion) 토큰을 방출하기 전에 불균형적인 청구서를 생성합니다.

토큰 비용이 증가하는 경우

단순한 프롬프트 및 완료 횟수 외에도 네 가지 패턴이 조용히 토큰 지출을 늘립니다:

• 반복되는 시스템 프롬프트: 1,000 토큰짜리 시스템 메시지는 세션의 모든 요청마다 청구되며, 한 번만 청구되지 않습니다.
• 대화 기록: 다중 턴 채팅은 전체 메시지 배열을 다시 보내야 합니다. 턴당 500 토큰인 10턴의 대화는 마지막 호출에서 5,000 토큰의 입력이 됩니다.
• 에이전트 루프: