대부분의 AI 추론 (Inference) 플랫폼은 토큰 단위로 비용을 청구합니다. 이 모델 하에서는 사용자가 보내고 받는 모든 텍스트 조각이 길이에 따라 선형적으로 비례하는 미세한 가격을 가집니다. 짧은 프롬프트(Prompt)와 간단한 채팅의 경우, 토큰 기반 과금은 예측 가능합니다. 하지만 검색 증강 생성 (RAG, Retrieval-Augmented Generation), 에이전트 루프 (Agent loops), 또는 대용량 파일에 대한 코드 분석을 실행하는 개발자에게는 비용 구조가 불투명하고 제한적일 수 있습니다. 토큰 과금이 어떻게 작동하는지 이해하는 것은 추론 비용을 최적화하고 워크로드에 적합한 대안을 평가하기 위한 첫 번째 단계입니다.

토큰이란 무엇인가?

토큰은 대규모 언어 모델 (LLM, Large Language Model)을 위한 텍스트의 원자 단위입니다. 토크나이저 (Tokenizer)에 따라 단어, 단어의 일부, 또는 단일 문자가 될 수 있습니다. 경험 법칙으로 보면, 영어 텍스트에서 1개 토큰은 대략 0.75개 단어에 해당하지만, 이는 모델과 언어에 따라 달라집니다.

많은 제공업체가 의존하는 것과 동일한 라이브러리를 사용하여 로컬에서 토큰 수를 확인할 수 있습니다. 아래는 프롬프트를 전송하기 전에 얼마나 많은 토큰을 소비하는지 추정하기 위해 tiktoken을 사용하는 짧은 Python 코드 스니펫입니다.

import tiktoken

def count_tokens(text, model="gpt-4"):
...

그 짧은 문장은 저렴하지만, 이를 수천 줄의 컨텍스트 (Context), 반복되는 도구 출력, 그리고 다회차 대화 기록 (Multi-turn history)과 곱하면 총비용은 빠르게 증가합니다.

토큰 과금 방식

제공업체는 일반적으로 비용을 두 가지 범주로 나눕니다: 입력 토큰 (Input tokens)과 출력 토큰 (Output tokens)입니다. 입력 토큰에는 시스템 프롬프트, 사용자 메시지, 함수 정의, 그리고 첨부된 모든 컨텍스트가 포함됩니다. 출력 토큰은 모델이 생성한 응답입니다. 양방향 모두에서 소비된 총량에 대해 비용이 청구됩니다. 요율은 보통 100만 토큰당 가격으로 책정되며, 더 긴 컨텍스트 창 (Context windows)을 사용할수록 비용이 증가합니다.

Together AI, Fireworks AI, OpenRouter, Replicate, Anyscale와 같은 주요 플랫폼들이 이 토큰 기반 모델로 운영됩니다. 소규모 규모에서는 계산이 간단하지만, 이는 컨텍스트 크기와 비용 사이에 직접적인 관계를 도입합니다. 모델에게 더 많은 것을 말할수록, 더 많은 비용을 지불하게 됩니다.

긴 컨텍스트 (Long Context)의 숨겨진 비용

토큰 기반 과금 (token-based billing)에서 발생하는 실제 비용은 가끔 발생하는 긴 답변이 아닙니다. 그것은 바로 입력 (input) 측면입니다. 프롬프트 (prompt)에 삽입하는 모든 문서, 멀티 턴 대화 (multi-turn conversation)에서의 모든 이전 대화 단계, 그리고 모델로 반환되는 모든 도구 결과 (tool result)는 모두 입력 토큰 수에 추가됩니다. 만약 도구 호출 (tool calls)을 반복하는 에이전트 (agent)를 구축하거나 전체 리포지토리 (repository)에 대해 코드 리뷰를 실행한다면, 입력 토큰이 출력 (output) 토큰보다 한 자릿수(order of magnitude) 더 많아질 수 있습니다.

제공업체는 컨텍스트 윈도우 (context window) 내의 모든 토큰에 대해 비용을 청구하기 때문에, 모델의 답변이 짧게 유지되더라도 긴 시스템 프롬프트 (system prompt)나 검색된 지식 베이스 (knowledge base)가 월간 청구 금액의 대부분을 차지할 수 있습니다.

토큰 가격 책정의 한계

토큰 기반 모델은 컨텍스트 집약적인 아키텍처 (architectures)에 불리하게 작용합니다. 100줄짜리 파일을 읽고, 도구를 호출하고, JSON 블롭 (JSON blob)을 수신한 뒤, 다시 추론하는 에이전트를 생각해 보십시오. 각 루프 (loop)마다 전체 대화 기록과 새로운 페이로드 (payload)에 대해 비용이 다시 청구됩니다. 수백 단계에 걸쳐 비용은 복리로 증가합니다. 마찬가지로, 고해상도 이미지 설명이나 긴 문서 스캔본을 전달하는 시각-언어 (vision-language) 작업은 방대한 입력 시퀀스 (input sequences)를 생성합니다. 본질적으로 상태 유지 (stateful)가 필요하거나 긴 컨텍스트를 다루는 워크로드 (workloads)는 토큰 기반 체계 하에서 불균형적으로 비싸집니다.

만약 귀하의 애플리케이션 아키텍처가 상태를 유지하거나 대규모 입력을 처리하는 것에 의존한다면, 토큰 가격 책정은 귀하의 컨텍스트 윈도우를 계량화된 자원 (metered resource)으로 만들어 버립니다.

요청 기반의 대안

Oxlo.ai는 추론 가격 책정 (inference pricing)에 다르게 접근합니다. 모든 토큰을 계량하는 대신, Oxlo.ai는 프롬프트 길이에 관계없이 API 요청당 하나의 고정 비용을 청구합니다. 이는 귀하의 시스템 프롬프트, 문서 컨텍스트, 그리고 귀하의 멀티