AI 에이전트가 인간보다 5배 많은 토큰을 사용하며 캐시된 프롬프트 증가로 10배에 육박할 전망

Futurum Group CEO Daniel Newman은 X 게시물을 통해 “현재 AI는 인간이 사용하는 것보다 5배 더 많이 사용되고 있다. 이 수치는 10배로 가속화되어 그 이상으로 높아질 것이다.”라고 작성했다. Andreessen Horowitz (a16z)가 OpenRouter의 데이터를 기반으로 만든 차트에 따르면, 에이전트 사용량은 7조 3천억 토큰인 반면 인간은 1조 4천억 토큰을 기록했으며, 이는 에이전트 사용량이 처음 인간을 추월한 지 6개월 후인 8월 기준 수치이다. 그러나 a16z는 OpenRouter를 인용하며 에이전트들이 주로 이미 본 내용을 다시 읽고 있다는 점을 지적했다. 전체 에이전트 토큰 중 85% 이상이 캐시된 프롬프트에서 발생한다는 것이다.

AI는 현재 인간보다 5배 더 많이 사용되고 있다. 이 수치는 10배로 가속화되어 그 이상으로 높아질 것이다. ROI를 결정하기 위해 인간의 채택률에 대해 계속 이야기하지만, 활용도와 규모는 그것보다 기하급수적으로 크다. 2026년 9월 30일

OpenRouter는 “선도적인 AI 모델 게이트웨이 및 라우팅 플랫폼”이다. OpenRouter의 인사이트 책임자인 Peter Walker가 작성한 차트에는 “OpenRouter에서 유형별 7일 평균 토큰 사용량”이 나열되어 있다. 이 자료에 따르면, 지난 2월 교차점 이후 에이전트는 14배 많은 토큰을 사용하고 있으며 인간 사용량은 2.8배 증가했다. Newman의 게시물에 있는 a16z 차트도 동일한 데이터를 보여준다. OpenRouter는 각 API 키를 “툴 호출률(tool call rate), 턴 수(turn count), 간격 시간(gap timing) 등을 포함하는 7개 신호 가중 복합 점수”를 사용하여 에이전틱(agentic), 혼합형(mixed), 또는 인간 유형으로 분류한다.

OpenRouter chart of seven-day average token usage by agents, humans, and mixed traffic from September 2025 to August 2026

(이미지 출처: OpenRouter)

우리의 계산에 따르면, 에이전트의 일부이자 인간의 일부일 수 있는 혼합 범주의 활동은 같은 기간 동안 4.7배 증가했습니다. 트래픽이 어떻게 분할되는지에 따라 에이전트가 인간보다 앞서는 정도는 다를 수 있습니다. 이 데이터는 지출(spending)이 아닌 토큰 볼륨을 측정합니다. 또한, 이 데이터는 단일 플랫폼의 것이며, 4월과 7월에 하락하는 등 추세가 완전히 일관되지는 않습니다. 하지만 에이전트 사용은 다른 곳에서도 증가하고 있습니다. McKinsey의 '2026 State of AI' 설문조사에 따르면, 대규모 조직 응답자의 40%가 AI 에이전트를 확장한다고 보고했으며, 이는 전년 대비 27%에서 증가한 수치입니다.

a16z는 캐시된 토큰 또한 토큰 사용량의 상대적 성장에 거의 모든 것을 차지한다고 언급했습니다. 캐시된 토큰은 프롬프트를 처음부터 처리하는 것보다 훨씬 비용이 적게 들지만, 여전히 메모리에 유지되어야 하며, OpenRouter 투자사인 a16z는 이를 고대역폭 메모리(HBM)에 대한 수요 증가와 연결 짓습니다. 모델들은 저장된 컨텍스트를 KV 캐시라고 하는 곳에 보관하며, 저희의 보도에 따르면 “KV 캐시는 GPU HBM 용량을 초과하고 있습니다.”

이러한 패턴은 DeepSeek을 임대한 Nvidia H200에서 테스트했던 콜센터 컨설팅 회사의 로그에서도 나타납니다. 해당 회사는 자체 에이전트가 Claude Code를 사용한 9월 사용량에 대해 “모든 입력의 96%가 이전 대화를 재읽는 것”이라고 밝혔습니다. OpenRouter의 데이터와 결합해 볼 때, 이는 토큰 수가 청구 금액을 과대평가할 수 있음을 시사하지만, 메모리에 대한 하드웨어 비용은 여전히 매우 현실적입니다.

이 메모리(memory)는 이미 부족한 상황입니다. Micron expects에 따르면, 2027년과 2028년에 RAM 및 스토리지 부족 현상이 악화될 것으로 예상되며, 고객들은 올해보다 더 많은 비용을 지불하게 될 것입니다. 한편, 메모리 제조사들은 AI 데이터 센터를 위해 HBM(High Bandwidth Memory)에 우선순위를 두고 있습니다. 만약 Newman의 예측대로 5배가 '10배, 20배, 30배'로 커진다면, 일반 PC 구매자들조차 더 많은 에이전트들을 상대로 메모리를 확보하기 위해 경쟁하게 될 것입니다.