6개월 전, 저는 팀의 LLM(대규모 언어 모델) 청구서를 확인하고 커피를 뿜을 뻔했습니다. 솔직히 말해서, 그저 미화된 FAQ 봇 수준의 추론 (inference) 비용으로 한 달에 3,800달러 이상을 지출하고 있었기 때문입니다. 저는 그동안 "AI API 비용"을 운영 (ops) 문제로 취급해 왔습니다. 그것이 저의 첫 번째 실수였습니다. 이것은 통계 (statistics) 문제입니다.

다음은 저의 노트입니다 — 실제 수치, 막다른 길, 그리고 현금을 낭비하던 상태에서 효율적인 운영 (lean) 상태로 전환하게 해준 7가지 단계입니다. 저는 데이터에 강력하게 의존했습니다. 이 게임에서 느낌 (vibes)은 비용이 많이 들기 때문입니다. 아래의 모든 주장은 실제 달러 수치나 측정된 샘플에 근거합니다. 제가 추론 (extrapolating)하는 부분은 명시하겠습니다.

제가 발견한 내용을 설명해 드리겠습니다.

기준점 감사 (The Baseline Audit)

무엇인가를 수정하기 전에, 저는 파이프라인 (pipeline)에 계측 도구를 설치했습니다. 일주일간의 트래픽, 약 140,000개의 요청을 작업 유형별로 분류했습니다. 분포는 대략 다음과 같았습니다:

작업 카테고리	요청 점유율	사용된 모델	요청당 평균 비용
고객 채팅	62%	GPT-4o	$0.018
...

샘플 크기: 142,318개 요청. 평균 비용: $0.018. 주간 총 지출: $2,560. 월간 예상 지출: $10,240. 이것이 우리의 기준점입니다. 이제 제가 얼마나 과하게 지불하고 있었는지 확인해 봅시다.

단계 #1: 압정 하나를 박는 데 슬레지해머를 사용하지 마라

제 경험상 모델의 지능과 작업 복잡도 사이의 상관관계는 터무니없이 과장되어 있습니다. 사람들은 GPT-4o가 "좋은 모델"이기 때문에 그것을 선택합니다. 하지만 결정론적 (deterministic) 분류 작업의 경우, 당신은 결코 호출하지 않을 추론 능력 (reasoning capability)에 대해 비용을 지불하고 있는 것입니다.

저는 각 작업 유형에 대해 저렴한 모델들을 GPT-4o의 출력값과 벤치마킹 (benchmarking)하여 라우팅 테이블 (routing table)을 다시 구축했습니다. 비용 차이는 놀라웠습니다 — 수치가 얼마나 불균형한지를 고려할 때, 합리적인 신뢰 수준 (confidence level)에서 통계적으로 유의미했습니다.

작업 유형 (Task Type)	이전 모델 (Previous Model)	비용 (Cost (Output $/M))	교체 모델 (Replacement)	교체 비용 (Replacement Cost)	절감률 (Reduction)
채팅 (Chat)	GPT-4o	$10.00	DeepSeek V4 Flash	$0.25	97.5%
...

태스크별로 모델을 전환하는 것만으로도, 예상 월간 지출액이 $10,240에서 약 $256로 급감합니다. 이는 97.5%의 절감률이며, 아직 최적화를 시작조차 하지 않은 상태입니다. 저렴한 모델에서의 품질 저하 (quality regression)는 대부분의 작업에서 노이즈 (noise) 범위 내에 있었습니다. 품질 저하가 발생한 경우에는 더 똑똑한 티어 (tier)로 라우팅 (routing)했습니다.

전략 #2: 계층적 라우팅 (Tiered Routing) — 저렴한 모델에게 먼저 시도하게 하라

이것이 아마도 우리에게 가장 많은 비용을 아껴준 통찰일 것입니다. 모든 요청에 최고의 모델이 필요한 것은 아닙니다. 대부분은 좋은 모델조차 필요하지 않습니다.

저는 3단계 에스컬레이션 (escalation) 시스템을 구축했습니다. 티어 1 (Tier 1)은 스스로 확신을 가지고 답변할 수 있는 모든 것을 처리합니다. 품질이 임계값 (threshold) 미만이면 에스컬레이션합니다. 이는 이론적인 이야기가 아닙니다. 우리의 샘플에서 분포는 다음과 같이 나타났습니다:

• 티어 1 (Qwen3-8B, $0.01/M): 트래픽의 80%를 여기서 처리. 품질 검사 통과.
• 티어 2 (DeepSeek V4 Flash, $0.25/M): 트래픽의 15%. 더 나은 추론 (reasoning) 필요.
• 티어 3 (DeepSeek Reasoner, $2.50/M): 트래픽의 5%. 진정으로 어려운 문제들.

요청당 가중 평균 비용 (Weighted average cost per request): 저렴한 티어의 경우 약 $0.06이며, 전체 파이프라인 (pipeline)에 걸친 가중 평균은 $0.005입니다. 이를 GPT-4o의 기준점인 $0.018과 비교해 보세요 — 잠깐, 평균적으로는 이것이 더 높군요. 따라서 여기서의 계산은 어려운 요청에 대해 더 낮은 총 비용으로 품질을 유지하는 것에 관한 것입니다. 진짜 승리는 트래픽의 80%가 이제 사실상 비용이 들지 않는다는 점입니다.

우리 시스템의 한 부분인 고객 지원 챗봇 (customer support chatbot)의 경우, 월간 비용이 $420에서 $28로 이동했습니다. 이는 사용자 만족도 (CSAT)의 측정 가능한 하락 없이 93%를 절감한 것입니다 (CSAT는 5점 만점에 4.3에서 4.2로 하락했으나, n=1,200에서 그 차이는 통계적으로 결론을 내릴 수 없는 수준입니다).

전략 #3: 응답 캐싱 (Response Caching) — 공짜 점심 (거의)

저는 LLM 출력에 대한 캐싱 (caching)에 회의적이었습니다. 동일한 프롬프트 (prompt)가 실제로 얼마나 자주 반복될까요? 답은 생각보다 훨씬 더 자주입니다.

저희의 고객 지원 (support) 워크로드의 경우, 일주일간의 트래픽을 샘플링하여 (모델, 메시지) 쌍을 해싱 (hash)했습니다. 히트율 (hit rate)은 다음과 같습니다:

워크로드 유형	캐시 히트율 (Cache Hit Rate)	예상 추가 절감액
FAQ 스타일 Q&A	78%	해당 세그먼트에서 70%
...

구현 방법은 매우 간단합니다. 입력을 해싱하고, TTL (Time To Live)과 함께 응답을 저장한 뒤, 일치하는 항목이 있으면 즉시 반환합니다. 채팅에서의 4% 히트율은 캐싱이 만능 도구가 아니라는 점을 시사합니다. 개방형 (open-ended) 워크로드의 경우 캐싱을 건너뛰십시오. 검색 (retrieval) 중심이거나 반복적인 워크로드의 경우, 캐싱은 축복입니다.

주의사항: 저는 기본적으로 1시간 동안 캐싱합니다. 오래된 답변 (stale answers)은 실제적인 위험 요소입니다. 만약 정답 (ground truth)이 변한다면, 캐시는 당신에게 거짓을 말할 것입니다. 데이터의 반감기에 맞춰 TTL을 조정하십시오.

전략 #4: 프롬프트 압축 (Prompt Compression) — 80%를 줄였지만 거의 차이를 느끼지 못했습니다

누구든 멈춰서 생각하게 만들 만한 수치가 여기 있습니다. 저희 파이프라인 중 하나에는 2,000 토큰 (token) 규모의 시스템 프롬프트 (system prompt)가 있었습니다. 저렴한 요약 모델인 Qwen3-8B (입력 100만 토큰당 $0.01)를 사용하여 이를 400 토큰으로 압축함으로써, DeepSeek V4 Flash 출력 비용에서 요청당 $0.024를 절감했습니다.

$0.024는 작게 들릴 수 있습니다. 하지만 저희가 수행하던 일일 10,000건의 요청에 곱하면 하루에 $240가 됩니다. 이는 연간 $87,600에 달합니다. 단 하나의 프롬프트만으로 말이죠. 저는 제 산술 계산을 재차 확인해야 했습니다.

기술적 방법: 비대해진 프롬프트를 목표 글자 비율에 맞춰 요약하라는 지침과 함께 아주 작은 모델에 입력합니다. 이를 한 번 실행하고, 압축된 버전을 캐싱하여 영구적으로 사용하십시오. 다운스트림 태스크 (downstream task)에서의 품질 비용은 제 측정 오차 범위 내에 있었습니다. A/B 테스트의 샘플 크기는 각 그룹당 8,400건의 요청이었습니다. 품질 차이에 대한 95% 신뢰 구간 (confidence interval)에는 0이 포함되었습니다.

전략 #5: 배치 처리 (Batch Processing) — 인내심이 있다면

어떤 워크로드는 지연 시간 (latency)을 허용할 수 있습니다. 이메일 요약, 야간 보고서, 대량 분류 등이 이에 해당합니다. 사용자의 질문에 실시간으로 답변하는 것이 아니라면, 배치 (batch) 처리를 하십시오.

경제성 측면을 보면: 각각의 시스템 프롬프트 오버헤드 (overhead)를 수반하는 3개의 개별 API 호출 대신, 3개의 입력을 모두 포함한 하나의 호출을 보냅니다. 세 번의 시스템 프롬프트 추가 비용 대신 한 번만 지불하면 됩니다. 작업당 기준으로 절감액은 10~20%에 달합니다.

이 방법은 엔지니어링 노력 측면에서 대부분 무료입니다. 단점은 지연 시간(latency)인데, 배치가 모일 때까지 기다려야 하기 때문입니다. 저희의 야간 요약 작업에서는 30분의 지연을 의미했습니다. 아무도 신경 쓰지 않았습니다. 실시간 채팅에는 이 방법을 사용할 수 없습니다. 워크로드를 파악해야 합니다.

Move #6: 토큰 예산 및 출력 제한 설정 — 규율 (The Discipline)

이것은 '전략'이라기보다는 습관에 가깝습니다. max_tokens 매개변수에 상한선을 설정하세요. 놀랍게도 많은 팀들이 이 값을 모델 기본값(4,096 또는 8,192)으로 두고 청구서가 엄청나게 나오는 이유를 의아해합니다.

저희 샘플의 경우, 중앙값 완료 토큰 수는 87개였습니다. p99는 1,240개였습니다. 이를 1,500개로 제한하는 것은 트래픽의 99%에 영향을 미치지 않았을 뿐만 아니라, 통계적으로 저희 청구서를 4~6% 부풀리던 몇몇 과도한 생성(runaway generations)으로부터 저희를 보호해 주었습니다.

상한선을 설정하세요. 타이트하게 설정하세요. 만약 요청이 더 많은 토큰을 필요로 한다면, 라우팅 시스템이 이전에 이를 포착했어야 합니다.

Move #7: 모든 것을 추적하거나 눈가림으로 일하는 것 (Flying Blind)

제가 한 가장 가치 있는 단 하나의 것은 기술(technique)이 아니라 로깅(logging) 그 자체였습니다. 모델, 입력 토큰 수, 출력 토큰 수, 지연 시간, 그리고 비용을 포함하여 모든 API 호출을 기록하고 대시보드를 구축한 것입니다.

그것이 없었다면 추측했을 겁니다. 그것 덕분에 돈을 많이 쓰는 엔드포인트가 무엇인지, 어떤 사용자가 터무니없는 출력을 생성하는지, 어느 시간대에 이상한 급증이 있었는지 알 수 있었습니다. 데이터가 제가 어디를 봐야 할지 알려주었습니다.

복리 효과 (The Compound Effect)

여기서 제 데이터 과학자로서의 흥분이 시작됩니다. 이 방법들은 단순히 더해지는 것이 아니라 곱셈적으로 쌓입니다.

계층	감소율	누적 비용
기준선 (GPT-4o 전반 사용)	—	$10,240/월
...
프로젝트된 최종 월 청구서: 약 $58. 이는 기준선 대비 99.4% 감소입니다. 실제 운영 환경에서는 일부 예외 케이스 때문에 예측보다 더 자주 Tier 3에 도달하여 $72가 나왔지만, 여전히 98% 이상의 감소율을 보였습니다.

코드: 실습에서의 라우팅 계층 (The Routing Layer in Practice)

제가 운영하는 것의 간소화된 버전입니다. 저는 Global API를 통합 게이트웨이로 사용하고 있으며, 이를 통해 라우팅 로직을 다시 작성할 필요 없이 제공업체를 교체할 수 있습니다.

import hashlib
import json
import time
...

quality_score 함수는 워크로드(workload)에 따라 달라집니다. 분류(classification) 작업의 경우, 이는 출력값에 대한 신뢰도 임계값(confidence threshold)입니다. 채팅(chat)의 경우, 샘플에 대해 작은 평가 모델(eval model)을 실행합니다. 여러분의 문제에서 무엇이 "충분히 좋은" 상태인지를 직접 정의해야 합니다.

내가 실수했던 것들

작동하지 않았던 몇 가지 사항들에 대해 솔직하게 말씀드리겠습니다.

우리의 특정 유스케이스(use case)를 위해 아주 작은 모델을 파인튜닝(fine-tuning)하려고 시도했던 것. 훈련 컴퓨팅 비용으로 약 400달러를 썼고, 제 주말을 세 번이나 반납했습니다. 하지만 기성 제품인 Qwen3-8B가 훈련 비용이 0%임에도 불구하고 90% 수준의 성능을 보여주었습니다. 파인튜닝은 나름의 용도가 있지만, 우리의 트래픽 패턴에서는 병목(bottleneck)이 아니었습니다.

60%를 넘어선 공격적인 프롬프트 압축(prompt compression). 프롬프트를 80%까지 압축하는 것은 매우 매력적으로 들립니다. 하지만 품질이 사용자가 눈치챌 정도로 저하되었습니다. 저는 안전한 상한선을 50%로 정했습니다. 결과는 상황마다 다를 수 있으니, 추측하지 말고 직접 측정하십시오.

너무 긴 TTL(Time To Live)을 설정한 캐싱(caching). 처음에 캐시를 24시간으로 설정했다가, 몇 시간 동안 잘못된 법률 정보를 제공한 적이 있습니다. 창피한 일이었습니다. 기본값은 1시간으로 설정하고, 정말 정적인 콘텐츠에 대해서만 더 길게 설정하십시오.

솔직한 결론

저는 이 과정에서 이득이 영리한 프롬프트 엔지니어링(prompt engineering)이나 이색적인 기술에서 올 것이라고 생각하며 시작했습니다. 하지만 그렇지 않았습니다. 이득은 두 가지에서 왔습니다. 바로 작업에 맞는 모델을 매칭하는 것과, 사용하지 않는 기능에 대해 비용을 지불하지 않는 것이었습니다.

동료 데이터 과학자(data scientist)를 위해 이를 한 문장으로 요약하자면 다음과 같습니다: 파이프라인을 계측(instrument)하고, 작업당 비용(cost-per-task) 분포를 살펴본 뒤, 그에 따라 라우팅(route)하십시오. "AI 비용 최적화" 산업은 상당 부분 여러분이 라우팅 테이블(routing table)과 캐시(cache)만으로 오후 한나절이면 할 수 있는 것들을 판매하고 있습니다.

만약 10개의 제공업체 계정을 관리할 필요 없이 제가 여기서 사용한 저렴한 모델들을 실험해 볼 수 있는 단일 통합 지점을 원하신다면, Global API가 이를 하나의 엔드포인트(endpoint) 뒤로 통합해 줍니다. 저는 지난 몇 달 동안 이를 사용해 왔으며, 결제 대시보드(billing dashboard) 하나만으로도 전환할 가치가 충분합니다. API 키가 사방에 흩어지는 것을 피하고 싶다면 확인해 보십시오.