랜딩 페이지에 표시된 토큰 가격으로 LLM 제공업체를 비교하는 것은 세금, 수수료, 초과 요금이 부과되기 전 광고된 월정액으로 전화 요금제를 비교하는 것과 비슷합니다. 기술적으로는 숫자일 뿐, 실제 청구서에 찍히는 숫자는 아닙니다.

헤드라인 가격이 보통 숨기는 것들

• 출력(Output) vs 입력(Input) 가격 책정 — 많은 제공업체가 입력 토큰보다 출력 토큰에 훨씬 더 높은 비용을 부과합니다. 만약 당신의 워크로드(Workload)가 긴 응답(요약, 초안, 채팅 등)을 생성한다면, 가격 페이지에서 가장 눈에 띄게 표시된 입력 요율이 아니라 출력 가격이 실제 청구서의 대부분을 차지하게 됩니다.
• 게이트웨이/플랫폼 수수료 (Gateway/platform fees) — 기본 모델 요율 외에도 일부 라우팅 계층(Routing layers)은 자체 수수료를 추가하며, 이것이 포함된 가격인지 별도로 추가되는 가격인지 명확하지 않은 경우가 많습니다.
• 실패한 호출 (Failed calls) — 실패한 요청은 제때 환불되지 않습니다. 재시도(Retries), 모니터링, 그리고 지원 티켓(Support tickets) 처리는 토큰당 비용 비교에는 절대 나타나지 않는 실제 비용입니다.
• 검색/컨텍스트 수수료 (Search/context fees) — 검색 또는 검색 기반 근거 생성(Retrieval or search-grounding, 예: Perplexity의 Sonar)을 수행하는 모든 것은 생성 토큰 외에 검색 컨텍스트에 대해 추가 비용을 청구하는 경우가 많습니다.
• 엔지니어링 시간 (Engineering time) — 직접 통합하는 제공업체가 추가될 때마다 SDK 유지보수, 또 다른 인증 흐름(Auth flow), 또 다른 예외 케이스(Edge cases)가 발생합니다. 이는 송장에 나타나지 않더라도 실제 비용입니다.

실제로 중요한 단위: 토큰당 비용이 아닌, 완료된 작업당 비용

만약 에이전트 워크플로(Agent workflow)가 사용자 대상 작업 하나를 완료하기 위해 다섯 번의 모델 호출을 수행한다면, 추적해야 할 숫자는 세 번째 단계를 처리한 모델의 표시 가격이 아니라, 해당 작업을 처음부터 끝까지 완료하는 데 드는 총비용입니다. 더 많은 재시도가 필요하거나, 두 번째 작업이 필요할 정도로 품질이 낮은 출력을 생성하는 "저렴한" 모델은, 한 번에 정확히 처리하는 더 비싼 모델보다 완료된 작업당 비용이 더 많이 들 수 있습니다.

이를 실무에 적용하면 다음과 같습니다: 모든 것을 하나의 모델로 기본 설정하지 말고, 작업의 복잡도(Task complexity)에 따라 라우팅하세요.

분류 (classification) / 단순 추출 (simple extraction)  -> 가장 저렴하고 역량이 있는 모델
요약 (summarization) / 초안 작성 (drafting)            -> 중간 단계 모델 (mid-tier model)
최종 추론 (final reasoning) / 코드 리뷰 (code review) -> 가장 강력한 모델

실제로 필요한 단계에만 에스컬레이션(Escalate)하세요. 가장 신뢰할 수 있다는 이유만으로 모든 요청을 가장 성능이 좋고(가장 비싼) 모델로 보내는 것은 비용을 과다 지출하는 가장 빠른 방법입니다.

저비용 통합 엔드포인트(unified endpoint)가 실제로 도움이 되는 경우

만약 워크로드(workload)가 진정으로 대용량이며 대부분 단순한 작업(분류, 단문 생성, 에이전트 하위 단계)이라면, 라우팅 계층(routing layer)의 가격 모델이 평소보다 더 중요해집니다. GonkaRouter와 같이 OpenAI 호환 엔드포인트에서 토큰당 가격을 1M 토큰당 $0.0004 수준으로 낮게 책정하는 서비스는, 반드시 가장 어려운 추론 단계를 처리하는 수단을 통째로 대체하기 위해서가 아니라, 특히 이러한 '대용량-단순 작업' 계층을 위해 알아둘 가치가 있습니다.

방금 언급한 수치를 포함하여 이 분야의 모든 가격 수치에는 동일한 주의 사항이 적용됩니다. 토큰 가격은 변동되며, 때로는 기반이 되는 컴퓨팅 비용(compute cost)과 연동되기도 합니다. 이 포스트에 포함된 수치를 포함하여, 특정 숫자를 기준으로 비용 모델을 구축하기 전에 반드시 실시간 가격 페이지를 확인하세요.

비용 문제로 제공업체를 전환하기 전 실제 체크리스트

• 입력(input) 가격뿐만 아니라 출력(output) 가격도 비교했는가?
• 기본 모델 요금 위에 추가되는 게이트웨이/플랫폼 수수료를 고려했는가?
• 가공되지 않은 API 호출당 비용이 아니라, 완료된 작업당 비용을 측정했는가?
• 비교 페이지의 벤치마크 예시만이 아니라 실제 프롬프트(prompt)로 테스트했는가?
• 단순한 단계는 저렴한 모델로 라우팅하고, 가장 좋은 모델은 실제로 필요한 단계에만 예약해 두었는가?

이곳의 사람들이 실제로 효과를 보았다고 생각하는 라우팅 전략이 무엇인지 궁금합니다. 작업 복잡도 기반 라우팅(task-complexity-based routing)인가요, 아니면 대부분의 비용 절감은 프롬프트 압축(prompt compression)과 캐싱(caching)에서 오고 있나요?