토큰당 비용 함정: AI는 왜 저렴해졌는데 당신의 청구서는 그렇지 않은가
요약
AI 토큰당 비용은 급격히 하락했지만, 기업의 총 AI 지출액은 오히려 폭발적으로 증가하고 있습니다. 이는 '토큰당 비용 함정'으로 불리며, 단순히 토큰 가격만 보고 예산을 책정하는 것이 잘못된 접근임을 시사합니다. 실제 지출 증가는 더 복잡한 작업과 모델 업그레이드에 기인합니다.
핵심 포인트
- AI 토큰당 비용은 하락했지만, 기업 총지출액은 2~4배 증가 중입니다.
- 예산 책정 시 '토큰당 비용'보다 '총 지출 규모'를 주요 지표로 봐야 합니다.
- 지출 증가는 더 복잡한 에이전트 작업과 모델 업그레이드 때문입니다.
- 효율성 향상(저렴해짐)이 오히려 총 소비량 폭증을 유발하는 역설적 현상이 발생하고 있습니다.
모든 CTO의 화이트보드에 붙여야 할 숫자가 있습니다. 바로 단일 AI 토큰 가격이 2023년 이후 90% 이상 하락했다는 것입니다. 같은 기간 동안, Apollo 최고 이코노미스트 Torsten Slok의 Silicon Data Token Expenditure Index 분석에 따르면, 대규모 언어 모델(LLM)에 대한 기업 총지출은 두 배가 되었습니다. Ramp의 청구 데이터는 훨씬 더 극명한 이야기를 보여줍니다. 기업들의 월별 AI 지출은 2025년 2월부터 2026년 2월 사이에 대략 4배나 증가했습니다.
이것은 발생할 것으로 예상되는 역설이 아닙니다. 이미 도착한 역설입니다. 만약 당신의 팀이 여전히 '백만 토큰당 비용'을 주요 예산 지표로 추적하고 있다면, 잘못된 숫자를 최적화하고 있는 것입니다.
제본스 역설(Jevons Paradox), 청구서로 설명하다
1865년, 경제학자 William Stanley Jevons는 석탄에 대해 직관에 반하는 것을 관찰했습니다. 증기 엔진이 더 효율적으로 변하고 석탄의 실질 비용이 하락함에 따라, 영국은 석탄을 덜 태우지 않았습니다. 오히려 극적으로 더 많이 태웠습니다. 효율성 향상은 이전에 너무 비쌌던 사용 사례에도 석탄 동력 산업을 실행 가능하게 만들었고, 총 소비량은 폭발적으로 증가했습니다.
Torsten Slok은 2026년 6월 12일 Daily Spark에서 AI 지출에 일어나고 있는 현상을
작업당 비용 = (작업당 토큰 수) x (토큰당 비용)
토큰당 비용은 하락하고 있습니다. 하지만 작업당 토큰 수는 훨씬 더 빠르게 증가하고 있으며, 이것이 아무도 예산에 책정하지 않은 변수입니다.
Bain & Company의 2026년 분석에 따르면, 토큰 비용은 2024년 12월부터 2025년 12월까지 절반으로 줄었습니다. 그러나 같은 기간 동안 소비된 토큰 수는 450% 증가했습니다. Bain은 이를 세 가지 요인에 기인한다고 설명합니다. 첫째, 기업들이 더 새롭고, 더 유능하며 (그리고 토큰을 많이 사용하는) 모델로 업그레이드하는 것. 둘째, 에이전트가 더 복잡한 다단계 작업을 처리하는 것. 셋째, 팀들이 AI 사용에 대한 신뢰를 바탕으로 더 큰 작업에 활용 범위를 넓히는 것입니다. 그들의 요약은 단호합니다: "청구서는 여전히 높은 수준을 유지한다."
ℹ️ Bain의 핵심 발견: 토큰 비용은 2024년 12월부터 2025년 12월까지 절반으로 줄었습니다. 소비된 토큰 수는 같은 기간 동안 450% 증가했습니다. 청구서 금액 자체는 변하지 않지만, "단위당 더 많은 비용을 지불하는 것"에서 "훨씬 더 많은 단위를 지불하는 것"으로 초점이 이동하고 있습니다.
커뮤니티의 의견
토큰당 가격 함정은 2026년 Hacker News에서 가장 많이 논의된 주제 중 하나였습니다. Fortune이 Uber 예산 이야기를 보도했을 때, HN 스레드는 수백 개의 댓글을 불러모았는데, 그중 상당수는 직접 비용 충격을 경험한 엔지니어들의 의견이었습니다.
반복되는 주제는 이렇습니다: 엔지니어들은 토큰당 가격 책정이 오해의 소지가 있다는 것을 알지만, 그들의 조직은 여전히 이를 주요 지표로 추적하고 있다는 것입니다. 한 댓글 작성자는 "비용은 Claude Code 세션에서 입력 토큰(캐시된) 비용에 압도적으로 의해 결정된다"고 언급하며, 실제 비용을 유발하는 것은 모델 선택이 아니라 컨텍스트 재읽기임을 확인시켜 주었습니다.
나중에 올라온 [
한편, 더 광범위한 "AI 스티커 쇼크" 및 "AI 감당 비용 위기" 스레드는 "AI는 무료일 것"이라는 서사에 점점 회의적이며 더 나은 비용 도구를 요구하는 실무자 커뮤니티를 보여준다.
에이전트가 예산을 초과하는 이유
챗봇에서 에이전트로의 전환은 비용 폭증의 가장 큰 원동력이다. 챗봇 질의는 일회성 교환이다: 프롬프트를 보내고 응답을 받으며, 몇백 개의 토큰에 대한 비용을 지불한다. 코딩 도구, 고객 지원 파이프라인, 기업 자동화에 현재 내장되는 종류의 AI 에이전트는 다르게 작동한다.
Gartner의 2026년 8월 보도 자료는 에이전트가 주도권을 잡을 때 발생하는 현상을 설명하기 위해 **"추론 역설(Inference Paradox)"**이라는 용어를 만들었다. 그들의 예측: 토큰당 가격이 계속 하락함에도 불구하고, 에이전트 워크플로우당 추론 비용은 2028년까지 5배 이상 증가할 것이라고 한다.
View original coverage on The Deep View →
왜일까요? 에이전트(agents)가 매 단계마다 전체 컨텍스트(context)를 재전송하기 때문입니다. 각 도구 호출, 각 추론 반복, 각 자체 수정 루프는 토큰 수를 곱하게 만듭니다. Substack 분석가 Koo Ping Shung은 산술을 풀어 설명합니다: 간단한 AI 질의에는 수백 개의 토큰만 사용됩니다. 여러 단계에 걸친 추론 및 에이전트 코딩 작업은 5~30배 더 많은 토큰을 사용합니다. 가장 복잡한 자율 워크플로우—예를 들어 Uber 같은 회사가 수천 명의 엔지니어에게 배포했던 종류—의 경우 소비량은 기준치보다 1,000배까지 치솟을 수 있습니다.
ℹ️ Gartner의 추론 역설(Inference Paradox): 토큰 비용은 2030년까지 95% 하락할 것입니다. 에이전트 워크플로우 비용은 2028년까지 5배 이상 상승할 것입니다. 이 두 진술은 동시에 참이며—바로 이것이 함정입니다.
$30의 고정 요금제에서는 그 계산이 통했습니다. 하지만 소비 기반 가격 책정(consumption-based pricing) 방식에서는 단일 사용자의 에이전트 세션만 수백 달러에 달하는 컴퓨팅 비용을 유발할 수 있습니다. 그리고 2026년에는 모든 주요 AI 제공업체가 가장 강력한 모델에 대해 소비 기반 청구 방식으로 전환했습니다.
Uber의 경고 사례
토큰당 함정을 더 생생하게 보여주는 회사는 없습니다. 바로 Uber입니다.
2026년 초, Uber는 Claude Code를 수천 명의 엔지니어에게 배포했습니다. 그들은 직원들의 토큰 소비량으로 순위를 매기는 내부 리더보드를 구축했는데—이는 업계에서 **
Uber의 COO Andrew Macdonald는 지난 5월에 AI 지출과 실제로 출시된 제품 기능 간의 연관성은 '아직 없다'고 인정했습니다. 그리고 CTO Praveen Neppalli Naga는 결국 토큰 과잉 사용(tokenmaxxing) 시대가 끝났다고 선언하며 포춘(Fortune)에 "AI 성공은 누가 가장 많은 토큰을 지출하는지로 특징지어지지 않을 것"이라고 말했습니다.
하지만 Uber의 회복 과정은 교훈적입니다. Naga 팀은 AI 사용을 줄이는 대신, 이 지출 문제를 엔지니어링 문제로 다루었습니다:
- 프롬프트 캐싱 개선(Improved prompt caching) — 중복되는 컨텍스트 재읽기 감소
- 기본 모델 변경(Changed the default model) — 일상적인 작업은 더 저렴한 모델로 라우팅
- 시간별 사용량 가시화(Per-hour usage visibility) — 엔지니어가 자신의 비용을 실시간으로 확인하도록 함
- 모델 효율성 테스트(Model efficiency testing) — 단순히 기능뿐 아니라 토큰 경제성을 위해 새로운 모델 평가
그 결과: Uber는 프론티어 AI 도구를 사용하는 직원 수를 4배 늘리는 동시에, 토큰당 비용을 절감했습니다. 이것이 바로 제본스 역설(Jevons paradox)이 당신에게 유리하게 작동하는 경우입니다—만약 당신이 이를 올바르게 측정한다면 말이죠.
Ramp 데이터: 12개월 만에 4배 증가
기업 카드 및 경비 관리 회사인 Ramp는 독특하게 가치 있는 데이터셋, 즉 수만 개 기업의 실제 청구 기록을 보유하고 있습니다. 그들의 2026년 4월 선행 지표 보고서(Leading Indicators report)는 가격 하락 헤드라인 뒤에 숨겨진 지출 현실을 보여줍니다:
- Ramp를 사용하는 기업들의 유료 AI 도입률은 2026년 3월 기준 **50.4%**로, 1년 전의 35%에서 증가했습니다.
- 월별 AI 지출액은 2025년 2월부터 2026년 2월 사이에 4배 증가했습니다.
- 가장 많은 비용을 쓰는 기업들의 경우, 약 4개월에 한 번씩 AI 비용이 50% 이상 급증합니다.
- Anthropic의 비즈니스 고객 중 연간 100만 달러 이상 지출하는 규모는 2026년 2월 이후 1,000개로 두 배가 되었습니다.
[IMG:N]
ℹ️ Ramp 데이터가 중요한 이유: 이것은 설문조사나 예측이 아닌 실제 기업 신용카드에서 나온 최초의 청구(first-party billing) 데이터입니다. 50% 이상의 기업이 AI에 비용을 지출하고 있으며 그 지출액이 전년 대비 4배 증가할 때, 토큰당 가격 하락은 실제 청구서 상에서는 사소한 오차일 뿐입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기