토큰인가 인간인가? 기업의 새로운 트레이드오프(Trade-off)

인공지능 (AI)이 예상보다 훨씬 더 많은 비용이 드는 것으로 드러나고 있으며, 미국 주요 기업의 최고재무책임자 (CFO)들은 이제 '토큰인가 인간인가'라는 잔혹한 새로운 트레이드오프 (trade-off)에 직면해 있습니다.

이번 주 AI 구축의 중심에 있는 두 기업용 AI CEO들이 CNBC에 설명한 상황이 바로 그러했습니다. Fortune 500 기업 내부에서 일어나고 있는 일들에 대한 이들의 설명은, 상승하는 비용이 AI 거래에 가하는 위협을 선명하게 보여줍니다. 이는 시장이 Micron과 같은 새로운 조 단위 달러 기업들을 탄생시키고 사상 최고치를 경신하는 와중에도 아직 인식하지 못한 위험입니다.

기업용 AI 기업인 Glean의 CEO Arvind Jain은 현재 모든 기업의 첫 번째 화두는 과도하게 부풀려진 AI 예산이라고 CNBC에 말했습니다.

Grinberg는 기업들이 약 1년 사이에 세 가지 뚜렷한 단계를 거쳐왔다고 말했습니다. 첫 번째 단계는 이사회가 CEO들에게 AI에 대해 무엇이라도 조치를 취할 것을 요구하는 것이었습니다. 그다음에는 이른바 '토큰맥싱 (tokenmaxxing)', 즉 비용에 상관없이 수단과 방법을 가리지 않고 AI를 사용하는 단계가 왔습니다. 세 번째 단계에서 리더십 팀은 프리미엄 모델(premium models)에 관한 자신들의 필요성을 재평가하고 있습니다.

"모든 개별 작업에 Opus 수준의 지능을 사용해야 할까요?"라고 Grinberg는 말했습니다. "그럴 필요는 없습니다."

이러한 압박의 근본 원인은 기술은 작동하지만 아직 스스로 비용을 충당할 만큼의 수익을 내지 못한다는 점에 있습니다.

"오늘날 AI가 작동하는 방식은 매우 강력하지만, 매우 비효율적입니다."라고 Jain은 말했습니다. "현 시점에서 AI가 창출하는 가치는 기업들이 지불하고 있는 비용을 따라가지 못하고 있습니다."

문제의 큰 부분은 모델 선택의 비효율성입니다. Jain은 기업용 AI 사용량의 약 95%가 더 저렴한 대안으로 처리할 수 있는 작업임에도 불구하고 여전히 가장 비싼 프런티어 모델 (frontier models)에서 실행되고 있다고 말했습니다.

해결책은 간단합니다. 쉬운 작업은 더 저렴한 계층 (tier)으로 라우팅 (routing)하는 것입니다. Jain은 이것이 가장 손쉽게 얻을 수 있는 성과(lowest-hanging fruit)라고 말했습니다.

"프런트엔드에서 적절한 모델 라우팅 (model routing)을 수행하면 실제로 10배의 비용 절감을 달성할 수 있습니다."라고 그는 말했습니다.

이것이 바로 각 작업을 그에 가장 적합한 모델로 자동 전송하는 Factory AI의 핵심 제안이기도 합니다. Grinberg는 실제 작업이 최상위 모델을 필요로 하는 경우가 얼마나 드문지를 인식하는 것이 관건이라고 말했습니다. 그는 최신 프런티어 모델들 사이의 격차를 두 명의 베테랑 학자에 비유했습니다.

"Opus 4.7과 Opus 4.8의 차이는 13년 차 교수와 15년 차 교수의 차이와 같습니다."라고 Grinberg는 말했습니다. "일반인에게는 그 차이를 구별하기가 정말, 정말 어렵습니다."

AI 트레이드 (AI trade) 전체는 과거의 수요가 유지될 것이며 구매자들이 비용에 크게 개의치 않을 것이라는 베팅에 기반하고 있습니다. 하지만 Fortune 500 기업 내부에서 바라보는 관점은 수요가 이 트레이드가 가정하는 것보다 훨씬 더 가격에 민감할 수 있음을 시사합니다.

프리미엄 가격 책정 (premium pricing)을 기반으로 비즈니스 모델을 구축해 온 OpenAI와 Anthropic의 기업 가치 (valuations)에 AI 가격 재산정 (AI price reckoning)이 무엇을 의미하는지 더 자세히 알아보세요.