원래 TierUp 블로그에 게시되었습니다. 토큰당 가격은 2년 동안 약 280배 하락했지만, 기업용 AI 예산은 여전히 세 배로 증가했습니다. 이 역설의 수학적 근거를 알아봅니다.

2026년 AI 예산을 정의하는 역설이 여기에 있습니다: 토큰당 가격은 급락하고 있지만, 총 지출액은 계속 증가합니다. Henon의 분석은 헤드라인 버전으로 제시하며 토큰 가격이 98% 하락한 반면 기업용 AI 비용은 세 배로 증가했다고 지적합니다. Oplexa의 추론 비용 보고서는 Epoch AI와 AnalyticsWeek 데이터를 인용하여 이를 더욱 극명하게 보여줍니다: 효과적인 토큰당 비용은 2년 동안 약 280배 감소했습니다 (2023년 ~$30/M에서 2026년 유사한 성능의 경우 ~$0.10/M으로). 반면, 평균 기업용 AI 예산은 2024년 약 $1.2M에서 2026년 $7M로 증가했으며, 이 중 추론(inference)이 AI 예산의 약 85%를 차지하여 2023년의 40% 대비 크게 늘었습니다.

가격 하락이 실패를 의미하지 않았습니다. 볼륨(Volume)이 승리했습니다.

볼륨은 어디에서 오는가

에이전트(Agents)는 호출을 증폭시킵니다. 챗봇은 하나의 모델 호출로 질문에 답합니다. 반면, 에이전트는 계획을 세우고, 도구를 호출하며, 결과를 읽고, 재시도하고, 자체 점검을 수행합니다. Oplexa가 인용한 Gartner의 2026년 3월 분석에 따르면, 에이전 기반 워크플로우는 사용자당 작업(user-initiated task)당 10~20개의 LLM 호출을 수행하며 표준 챗봇 상호작용보다 5~30배 더 많은 토큰을 소비합니다. 올해 '채팅(chat)'에서 '에이전트(agent)'로 조용히 업그레이드된 모든 제품은 가격 페이지를 변경하지 않고도 토큰 볼륨을 한 자릿수(order of magnitude)만큼 증폭시켰습니다 — 또는 귀하의 경우에도 마찬가지입니다.

RAG는 모든 호출을 부풀립니다. 검색 증강 생성(Retrieval-augmented generation, RAG) 요청은 단순 질문보다 3~5배 더 많은 토큰을 포함합니다. 동일한 Gartner 인용 분석에 따르면 그렇습니다. 이것이 바로 RAG의 목적이지만, 이는 귀하의 입력 볼륨이 사용자 수에 따라가기보다는 문서 청크(document chunking) 전략에 따라 확장된다는 것을 의미합니다. 그리고 토크나이저 세금 포스트에서 다뤘듯이, 큰 컨텍스트(fat contexts)는 장문 컨텍스트 가격 임계값(long-context pricing thresholds)을 넘게 할 수도 있습니다.

항상 작동하는 것(Always-on)이 요청당 비용을 초과합니다. 모니터링 에이전트, 백그라운드 요약기, 예약된 파이프라인은 사람이 지켜보고 있는지 여부와 관계없이 24시간 내내 토큰을 소비합니다. 사용량 추적은 인원수(headcount)를 기준으로 하지 않습니다.

인간은 레버리지를 활용하여 더 많이 사용합니다. 업계의 비용 절감 노력에 대한 TechCrunch의 2026년 6월 보고서는 구체적인 자료를 제시합니다: Jellyfish의 연구 책임자는 개발자당 토큰 소비가 9개월 동안 약 18.6배 증가한 것으로 측정했습니다. 그들의 연구에 따르면 가장 많은 토큰을 사용하는 사용자들은 약 두 배 더 생산적이었지만, 그곳에 도달하기 위해 10배 더 많은 토큰을 사용했습니다. 우버는 2026년 AI 코딩 예산 전체를 4월까지 소진한 것으로 알려졌습니다. Priceline은 Cursor 갱신 비용이 4~5배 더 비싸졌으며, 한 엔지니어는 단일 월에 토큰으로 4만 달러를 지출했습니다. 한 회사는 사용량 제한을 설정하지 않아 5억 달러의 Claude 청구서를 발견한 것으로 알려졌습니다.

네 가지 사례 전반에서 나타나는 패턴은 다음과 같습니다: 토큰당 비용은 하락했지만, 결과물(outcome)당 토큰 수는 폭발적으로 증가했고, 사용자당 결과물 수는 늘어났다는 것입니다. 이 세 곡선을 곱하면 그 지점들은 상승합니다.

완화 체크리스트 (The mitigation checklist)

업계 전반에서 나타나는 대응은 — TechCrunch는 대화가 역량(capability)에서 '가드레일(guardrails)'로 완전히 전환되고 있으며, 토큰 경제학 재단(Tokenomics Foundation)이라는 표준 기구가 이달에 출범한다는 것을 설명합니다 — AI를 위한 FinOps(Financial Operations)와 같습니다. 실질적인 버전은 다음과 같습니다:

1. 작업 난이도에 따른 라우팅 (Route by task difficulty). 에이전트 루프(agent loop) 내의 대부분의 호출은 분류(classification), 추출(extraction), 포맷팅(formatting)과 같은 단순 연결 작업(glue work)이며, 프런티어 모델(frontier model)이 필요하지 않습니다. Oplexa의 보고에 따르면 모델 라우팅(model routing)을 통해 지출을 60–80% 절감할 수 있었으며, 이는 그들의 목록 중 가장 큰 영향력을 가진 수단입니다.
2. 엄격한 예산 및 그룹별 한도 설정. TechCrunch에 따르면 Priceline의 방식은 직원 그룹별로 토큰 한도(token limits)를 설정하는 것입니다. 알림(Alerts)은 한도가 아닙니다. 한도는 반드시 한도여야 합니다. (보고된 5억 달러의 청구서 사례도 참고하십시오.)
3. 공격적인 캐싱 (Cache aggressively). 프롬프트 캐싱 (Prompt caching, 캐시된 입력에 대해 최대 90% 할인)과 시맨틱 캐싱 (semantic caching, Oplexa 기준 30–50% 절감)은 RAG 인플레이션 문제를 직접적으로 해결합니다.
4. 대화형이 아닌 작업은 배치(Batch) 처리. 주요 제공업체들은 배치 API (Batch APIs) 사용 시 50% 할인을 제공합니다. 백그라운드 요약기(summarizers)나 야간 파이프라인(nightly pipelines)은 실시간 가격 책정이 거의 필요하지 않습니다.
5. 에이전트 루프 제한 (Cap agent loops). 작업당 최대 반복 횟수와 최대 도구 호출(tool calls) 횟수를 설정하십시오. 스스로를 20번의 루프로 재시도하는 에이전트는 기능(feature)이 아니라 비용 사고(cost incident)입니다.
6. 검색 최적화 (Trim retrieval). 3~5배에 달하는 컨텍스트 인플레이션(context inflation)이 실제로 답변의 질을 개선하는지 측정하십시오. 리랭크(Rerank)를 더 강력하게 수행하고, 컨텍스트에 집어넣는 양(stuffing)은 줄이십시오.
7. 결과물당 토큰 측정 (Meter tokens per outcome). 월간 지출액이 아니라 '해결된 작업당 토큰 수(tokens-per-resolved-task)'를 추적하십시오. 이것이 "우리가 더 많은 일을 하고 있는 것"과 "우리가 더 많이 낭비하고 있는 것"을 구분할 수 있는 유일한 지표입니다.

솔직한 결론 (The honest takeaway)

AI 지출의 증가는 자동으로 문제가 되는 것은 아닙니다. Jellyfish의 데이터에 따르면 지출이 많은 기업들이 실제로 더 높은 생산성을 보였습니다. 문제는 검토되지 않은 지출입니다. 프런티어 모델이 단순 연결 작업(glue work)을 수행하고, 제한 없는 루프가 돌아가며, 결과물당 토큰 수(tokens-per-outcome)를 관리하는 책임자가 없는 상태 말입니다. 가격은 계속 떨어질 것입니다. 하지만 당신의 청구서는 계속 올라갈 것입니다. 당신이 통제할 수 있는 유일한 변수는 그 청구서의 금액 중 얼마만큼이 실제로 가치 있는 것을 구매하느냐 하는 것입니다.

품질 기준을 충족하는 가장 저렴한 티어(tier)로 모든 호출을 라우팅하는 것이 체크리스트의 첫 번째 항목이며, 이것이 바로 TierUp의 핵심 전제입니다.

출처 (Sources)

출처 (Sources)

• The token bill comes due: Inside the industry scramble to manage AI's runaway costs — TechCrunch
• AI Inference Cost Crisis 2026 — Oplexa
• Token prices fell 98%. Enterprise AI costs tripled. — Henon Insights