치솟는 비용으로 인해 AI 토큰맥싱(tokenmaxxing) 파티가 종말을 맞이하고 있다 — 유출된 컨설팅 기업의 오디오는 AI 효과성을

AI 토큰맥싱 (tokenmaxxing)의 시대가 진정으로 끝났을지도 모릅니다. Amazon이 AI 리더보드를 축소하고 있다는 소식과 한 미지의 기업이 한 달 만에 5억 달러 상당의 토큰을 낭비했다는 이야기와 더불어, 컨설팅 기업 Accenture가 고객사들의 걷잡을 수 없는 토큰 지출을 어떻게 억제할지 고민하는 과정에서 유출된 오디오가 등장했다고 404Media가 보도했습니다.

유출된 오디오에서 Accenture는 AI로 넘기는 특정 사소한 작업들이, 특히 에이전틱 AI (agentic AI)가 포함될 경우 막대한 토큰 초과 지출을 유발하고 있음을 인정합니다. 회의에 참석한 직원들은 기술을 적극적으로 도입하는 기업들에서 AI 지출이 통제 불능 상태로 늘어나고 있을 뿐만 아니라, 특정 작업에 비용이 얼마나 들지, 혹은 그 작업을 완료하기 위해 AI를 사용하는 것이 실제로 가치가 있는지 예측할 방법이 거의 없다는 점을 명확히 인식하고 있습니다.

Accenture는 이전에 AI에 대해 매우 낙관적인 태도를 보여왔으며, 심지어 직원들에게 AI를 사용하도록 독려하여 사용하지 않을 경우 승진에서 누락될 위험이 있다고까지 했습니다. 하지만 Accenture가 현재 자신들이 AI에 과도한 지출을 하고 있다는 점과 많은 고객사 또한 마찬가지라는 점을 분명히 인지하고 있는 만큼, 그러한 정책은 AI 역사책에 남을 운명인 것으로 보입니다.

토큰맥싱에서 토큰 사재기로

지난 1년의 대부분 동안, 많은 기업이 AI 중심의 비즈니스 전략을 향해 전속력으로 돌진해 왔습니다. Amazon은 AI 리더보드를 보유하고 있었으며, Nvidia의 CEO Jensen Huang은 엔지니어들이 연봉의 최소 50%에 달하는 AI 토큰을 사용하지 않는다면 오히려 놀랄 것이라고 말했습니다.

일화적으로, 저는 AI를 최대한 많이 사용하도록 권장받아 온 다수의 소프트웨어 개발자와 데이터 엔지니어들을 알고 있습니다. 그들에게는 토큰 제한(token limits)이 있지만, 그 제한을 모두 사용하도록 권장받았으며, 이를 수행할 새로운 방법들 또한 찾아내야 했습니다.

이는 통제 불능의 토큰 지출로 이어지고 있으며, Accenture는 자사의 고객 데이터에서 이러한 현상을 목격하고 있습니다. Accenture의 에이전틱 AI (agentic AI) 전략 리드인 Justive Kwak은 오디오에서 다음과 같이 언급했습니다: "우리가 현재 목격하고 있는 것은 AI 토큰 지출의 급격한 에스컬레이션입니다. [...] 기업들이 AI를 확장하기 시작하면서, 단순한 챗봇(chatbots)에서 에이전틱 워크플로 (agentic workflows)와 자동화(automation)를 특징으로 하는 유스케이스(use cases)로 이동하고 있으며, 나아가 Copilot, Claude Code, Codex와 같은 도구들을 전사적으로 배포하고 있기 때문입니다."

그는 이것이 단지 몇몇 기업에만 국한된 문제도 아니라고 말했습니다. 그는 "이것은 정말로 틈새적인(niche) 문제가 아닙니다. AI에 대해 낙관적이라면, 혹은 이미 낙관적이라면, 모든 기업이 직면하게 될 문제입니다"라고 말하며, 더 많은 사람이 AI를 사용하기 시작함에 따라 토큰 지출이 "기하급수적으로(exponentially)" 증가하고 있다고 덧붙였습니다.

하지만 상황이 변하기 시작했을 수도 있습니다. Amazon은 자사의 AI 리더보드(leaderboard)를 폐지했으며 — 이 회사가 한 달에 5억 달러를 AI에 지출하는 정체불명의 기업이라는 루머가 있습니다 — Uber는 비용 절감을 위해 AI 사용을 제한하고 있으며, Axios는 5월 말 보고를 통해 다수의 CEO와 기업들이 더 저렴한 모델로 전환하고 있으며 직원들의 사용량을 더욱 면밀히 모니터링하고 있다고 전했습니다.

제가 아는 일부 소프트웨어 개발자들은 토큰 지출을 줄이기 위해 [

대규모 언어 모델 (LLM)이 특정 니치 케이스 (niche cases)에서는 매우 유용하다는 것이 증명되고 있지만, 더 넓은 범위의 작업에서의 효과성은 더 모호합니다. 특히 이를 자금 조달하는 문제에 있어서는 더욱 그렇습니다. 관리자와 경영진이 AI 예산 편성 및 그에 따른 투자 수익률 (ROI)을 검토할 때, 수치를 맞추기가 어렵습니다.

특정 작업을 완료하는 데 얼마나 많은 토큰이 소요될지, 혹은 그 작업이 첫 번째, 두 번째, 또는 세 번째 시도에서 효과적으로 완료될지 알 수 없을 때; 출력물의 길이를 완전히 제어할 수 없거나, 그 출력이 틀렸는지, 거짓인지, 아니면 그저 무작위적인 환각 (hallucination)인지 알 수 없을 때, 해당 도구에 대한 투자 수익률을 어떻게 측정할 수 있겠습니까?

"우리는 AI가 비용 구조에서 실질적인 비중을 차지하게 되는 변곡점에 도달하고 있으며, 지출이 매우 예측 불가능해지고 있습니다"라고 Accenture의 Kwak은 회의 중에 말했습니다. 그는 AI 비용의 전체 청구액은 눈에 보이지만, 해당 토큰 지출에 귀속되는 구체적인 가치를 찾는 것은 그렇지 않다고 시사했습니다.

이는 Accenture 내부에 어떤 작업은 다른 작업보다 AI 토큰 사용의 가치가 더 높다고 간주되는 작업 계층 구조 문화를 만든 것으로 보입니다. Kwak이 회의 중에 슬라이드를 보여주기 위해 준비할 때, Accenture의 클라이언트 그룹 리드인 Stuary Henderson는 Kwak이 PDF를 이미지로 변환한 다음 마크다운 (markdown) 파일로 변환하는 데 AI를 사용하지 않기를 바란다며 농담을 던졌습니다.

"그게 토큰을 엄청나게 잡아먹는 것 중 하나라는 걸 배우고 있습니다"라고 그는 말했습니다. "PDF를 마크다운으로 변환하는 것, 맞죠?"

Kwak은 Accenture의 데이터가 실제로 AI를 사용할 필요가 없는 일부 작업들이 AI를 통해 완료되고 있으며, 그로 인해 불필요한 토큰을 사용하고 있음을 보여준다는 점에 동의했습니다. 그는 이러한 문제의 상당 부분이 비기술직 직원들의 과도한 사용 때문이라고 시사했습니다.

"내부 데이터 중 일부를 통해 확인한 결과, 실제로 토큰 소비를 주도하는 것은 우리 엔지니어들이 아니라는 점을 보고 있습니다. 그러한 행동을 하는 이들은 상당수 비엔지니어들입니다."

Accenture가 고객사들 사이에서 공격적인 AI 도입을 장려해 온 결과, 이제는 이를 저지하거나 적어도 더 신중한 사용을 권장해야 하는 기묘한 상황에 처하게 되었습니다. 이제 Accenture는 고객들에게 "토큰 경제학 (token economics)"을 어떻게 생각해야 하는지에 대해 조언하는 것을 다음 기회로 보고 있습니다.

해당 통화 내용에 따르면, Accenture는 고객들에게 조언하기 위해 "Token IQ"라고 불리는 도구를 개발 중이지만, 아직까지 어떠한 발표도 하지 않은 상태입니다.

Accenture의 유출 내용과, 이전에는 AI 사용에 대해 매우 낙관적이었던 일부 주요 기술 기업들의 행보를 통해 명확해진 점은, 토큰당 비용 규모로 이루어지는 대규모 AI 도입의 재무 구조가 맞지 않는다는 것입니다. AI 투자 수익률 (ROI)을 측정할 명확한 방법이 없다면, 가장 공격적으로 토큰을 소비하던 (tokenmaxxing) 기업들조차 AI 전략을 재검토하면서 2026년 말까지는 접근 권한과 지출을 제한하는 방향으로 선회할 수 있습니다.