기업들이 토큰맥싱(tokenmaxxing)에서 효율성으로 전환함에 따라 OpenAI와 Anthropic이 직면한 새로운 AI 현실

Flo Crivello의 비용은 균형이 깨져 있었고, 이를 통제할 방법은 단 하나뿐이었습니다.

이달 초, AI 스타트업 Lindy의 34세 CEO는 회사의 모델을 Anthropic의 Claude 모델에서 전환하여, 트래픽의 100%를 더 저렴한 오픈 웨이트 (open-weight) 대안을 만드는 중국 기업인 DeepSeek으로 옮겼습니다.

Crivello는 샌프란시스코에 위치한 회사 본사에서 진행된 인터뷰에서 "우리는 그렇게 했고, 비용 곡선이 마치 바닥으로 추락하듯 내려가는 것을 볼 수 있었습니다"라고 말했습니다. 그는 이 결정이 Lindy에 몇 달 안에 수백만 달러를 절약해 줄 것이라고 말했지만, 약 25명 규모의 이 회사가 여전히 급여보다 AI에 더 많은 비용을 지출할 것으로 예상하고 있습니다.

"그것은 비즈니스의 생존 문제입니다." Crivello는 말했습니다. "그게 전부입니다."

이전에 Uber에서 거의 5년을 보낸 Crivello는 인공지능 (AI) 지출을 억제하려는 미국 전역의 늘어나는 창업자 및 경영진 중 한 명입니다. 2022년 OpenAI가 ChatGPT 챗봇으로 월스트리트를 처음 사로잡은 이후, 기업들이 고객 지원, 마케팅, 재무와 같은 분야에 기술을 배포하려는 경쟁이 시작되면서 AI 비용은 때때로 수십억 달러에 달할 정도로 급증했습니다.

특히, 개발자들이 이전에는 코더 팀이 필요했던 새로운 도구와 서비스를 만드는 데 토큰 (tokens)을 쏟아부으면서 AI 지원 코딩 영역에서 비용이 급증했습니다. 이는 이른바 토큰맥싱 (tokenmaxxing)과 AI 리더보드 (leaderboards)의 시대로 이어졌으며, 이 시기 고용주들은 개발자들이 결과에 상관없이 가능한 한 많은 AI를 사용하도록 장려했습니다.

이제 단속이 시작되었습니다. Uber는 이번 달 일부 AI 도구에 대해 월 기본 1,500달러부터 시작하는 일련의 지출 계층을 구현했다고 밝혔으나, 직원들은 더 높은 수준의 액세스를 요청할 수 있습니다. 지난 4월, Uber의 CTO인 Praveen Neppalli Naga는 The Information과의 인터뷰에서 이 차량 공유 기업이 단 4개월 만에 연간 AI 예산 전체를 소진했다고 밝혔습니다.

OpenAI와 Anthropic은 비용을 아끼지 않는(spend-at-all-cost) 사고방식의 주요 수혜자였으며, 이는 두 AI 모델 리더의 기하급수적인 성장률을 견인하고 기업 가치를 1조 달러에 육박하는 수준까지 끌어올렸습니다.

이제 두 기업 모두 6월 초에 비밀리에 상장 신청을 마친 역사적인 IPO(기업공개)를 준비하고 있는 가운데, AI를 둘러싼 분위기가 변하고 있습니다. Crivello와 같은 비즈니스 리더들은 이제 투자 수익(ROI)에 대한 명확한 그림 없이는 Anthropic이나 OpenAI에 무작정 돈을 쏟아부으려 하지 않습니다.

"Anthropic과 OpenAI의 현재 성장률은 역사상 가장 빠른 수준이며, 이는 대부분 기본적인 수학적 문제일 뿐입니다."라고 D.A. Davidson에서 기술 기업을 담당하는 주식 분석가 Gil Luria가 CNBC에 말했습니다. "이는 지금 상장해야 할 좋은 이유가 됩니다. 일부 대형 기업 고객들이 통제 불능인 토큰 지출을 제한하기 시작할 수 있다는 우려 또한 마찬가지입니다."

Anthropic은 지난 5월에 연간 런레이트(run rate, 연간 환산 매출)가 470억 달러에 달한다고 보고했는데, 이는 작년 전체 매출인 약 100억 달러에서 크게 증가한 수치입니다. 보도에 따르면 OpenAI의 런레이트는 올해 초 250억 달러에 근접하는 속도를 보였으며, 이는 2025년에 창출한 131억 달러의 매출에서 증가한 것입니다.

수치가 여전히 눈부시긴 하지만, 조만간 상장하는 것은 전략적 선택이 될 수 있습니다.

"미래의 어느 시점에는 기업들이 지출을 합리화하는 기간이 반드시 올 것이며, 이는 Anthropic과 OpenAI에게 앞길에 닥칠 일시적인 충격(blip)이 될 수 있습니다."라고 Luria는 인터뷰에서 말했습니다. "그것이 나타나기 전에 상장해야 한다는 긴박감을 조성합니다."

Anthropic은 이 기사에 대한 논평을 거부했습니다. OpenAI는 논평 요청에 응답하지 않았습니다.

Crivello는 자신이 Anthropic의 열렬한 팬이지만, 그의 회사는 오랫동안 "지속 불가능한" AI 비용 문제로 어려움을 겪어 왔다고 말했습니다.

Crivello는 Lindy가 AI 모델에 의해 처리되고 생성되는 데이터 단위인 토큰 (tokens)의 비용이 시간이 지남에 따라 극적으로 감소할 것이라는 아이디어를 바탕으로 구축되었다고 말했습니다. 그것은 한동안 사실로 증명되었으나, Anthropic과 OpenAI를 포함한 주요 모델 개발사들은 최근 몇 달 동안 가격을 인하하는 속도가 더뎌졌습니다.

Crivello는 가격이 내려간다면 Lindy를 다시 Claude 모델로 전환할 의사가 있다고 밝혔습니다.

"그들이 언젠가 다시 비용을 절감하기를 바랍니다. 하지만 그때까지 우리는 다른 선택지들을 가지고 있습니다"라고 그는 말했습니다.

Highspring의 컨설팅 부문 사장인 Jeff Henry는 그의 회사 고객 중 일부는 "실질적인 ROI (투자 대비 수익)를 증명할 수 있을" 때까지 투자를 철회하고 있으며, 다른 이들은 큰 지출 결정을 내리기 전에 여전히 12개월에서 18개월을 더 기다리고 있다고 말했습니다.

"모두가 AI에 대한 동일한 지출 압박을 경험하고 있습니다"라고 그는 말했습니다.

하지만, 그는 아직 AI 실험조차 시작하지 않은 수많은 중견 기업들이 여전히 존재한다고 말했습니다.

"AI는 사라지지 않을 것입니다"라고 Henry는 말했습니다. "치약이 튜브 속으로 다시 들어갈 수 없는 것과 마찬가지입니다."

OpenAI는 이번 달 초 기업용 분석 기능과 업데이트된 제어 기능을 출시하여, 관리자가 직장 내 크레딧 지출을 세분화하고, 사용량 제한을 설정하며, 직원들에게 가용 예산에 대한 가시성을 제공할 수 있도록 했습니다. Anthropic은 8월에 고객이 사용자를 프로비저닝(provision)하고, 분석을 확인하며, 조직 및 개인 수준에서 지출 한도를 설정할 수 있는 일련의 제어 기능을 출시했습니다.

지출 관리 스타트업인 Ramp의 공동 CEO Eric Glyman은 예상보다 훨씬 큰 AI 청구서로 인해 타격을 입은 후 재무 부서들이 세심한 주의를 기울이고 있다고 말했습니다.

Glyman은 인터뷰에서 "대부분의 CFO는 연간 계획에서 이러한 급격한 성장을 계획하지 않았을 뿐만 아니라, 이를 관리할 좋은 도구도 가지고 있지 않습니다"라고 말했습니다. "갑자기 토큰(tokens)과 지능(intelligence)을 통한 지출이라는 제3의 축이 나타난 것입니다. 이는 깔끔하게 관리되는 지출 영역이 아닙니다."

기업들이 AI 가격에 더욱 민감해짐에 따라, OpenAI와 Anthropic은 더 낮은 비용의 모델 개발을 목표로 하는 자금력이 풍부한 경쟁자들과 맞서야 합니다.

OpenAI에 130억 달러 이상을, Anthropic에 최대 50억 달러를 쏟아부은 Microsoft는 이번 달 초 일련의 새로운 저비용 모델들을 공개했습니다. 또한 이 회사는 자사의 AI 코딩 제품인 GitHub Copilot이 작업에 가장 적합한 모델로 사용자를 라우팅(route)할 것이라고 강조했습니다.

지난 6월 에세이에서 Microsoft의 CEO Satya Nadella는 업계가 소수의 대형 제공업체에 권력이 집중되는 것을 피해야 한다고 말했습니다.

Nadella는 "우리 중 누구라도 원하는 마지막 상황은 모든 분야의 모든 기업이 자신들이 보는 모든 것을 집어삼키는 소수의 모델에 가치를 양도하는 세상입니다"라고 썼습니다. "만약 모든 가치가 오직 소수의 모델에만 축적된다면, 정치 경제는 이를 결코 용납하지 않을 것입니다."

Amazon과 Google 또한 비즈니스 사용자를 위한 모델에 대한 투자를 확대하고 있습니다.

Amazon의 최고 AI 경영진인 Peter DeSantis는 이번 달 CNBC와의 인터뷰에서, 회사가 "내년"에는 OpenAI 및 Anthropic의 프런티어 모델 (frontier models)과 경쟁할 수 있기를 희망한다고 밝혔습니다. Microsoft와 마찬가지로, Amazon 또한 이 두 회사 모두에 투자하고 있습니다.

DeSantis는 지난 2월, Amazon이 경쟁사들보다 더 저렴한 비용으로 모델을 개발하기 위해 자체 칩 (in-house chips)에 의존할 것이라고 말했습니다.

그는 The Wall Street Journal과의 인터뷰에서 "AI는 비용 문제를 안고 있습니다"라고 말했습니다. "우리가 궁극적으로 AI가 모든 것을 변화시키기를 원한다면, 비용 구조가 달라져야 합니다."

Google은 지난달 연례 개발자 컨퍼런스에서 저렴한 AI 제품군을 강조하기 위해 상당한 노력을 기울였습니다. CEO Sundar Pichai에 따르면, 이 회사는 모델 제품군에 추가된 경량 모델인 Gemini 3.5 Flash를 선보였으며, 이는 유사한 프런티어 모델 (frontier models) 가격의 절반, 혹은 어떤 경우에는 3분의 1에 가까운 가격으로 이용 가능합니다.

PitchBook의 분석가 Harrison Rolfes는 인터뷰에서 "Microsoft와 Google은 OpenAI와 Anthropic 모두를 압박할 수 있는 인프라와 역량, 즉 전체 스택 (entire stack)을 보유하고 있습니다"라고 말했습니다. "그들은 아마도 이들이 서로 싸우며 어디에서 성과가 나지 않는지 지켜보기 위해 사이드라인에서 기다리고 있는 것일 겁니다."

상장 (going public)과 관련하여, 거대 모델 기업 중 어느 곳도 향후 데뷔에 대한 정확한 시기를 제공하지 않았습니다. New York Times는 목요일, 논의에 참여한 관계자들을 인용하여 OpenAI가 내년까지 미루는 쪽으로 기울고 있다고 보도했습니다.

상장에 대한 압박은 자본 확보의 필요성과 관련이 있을 수 있습니다. Anthropic과 OpenAI가 자신들의 최대 재정 후원자들과 점점 더 치열하게 경쟁함에 따라, IPO 시장이 새로운 자금을 확보하기 위한 최선의 경로가 될 수 있습니다. 특히 이들의 자본 수요가 대부분의 벤처 캐피털 (venture capital) 및 사모펀드 (private equity) 기업이 감당하기에는 너무 커졌기 때문입니다.

Battery Ventures의 제너럴 파트너인 Dharmesh Thakker는 "전통적인 자본 창구 중 상당수가 마르고 있습니다"라고 말했습니다. "이 회사들에 투자할 수 있는 모든 기관 투자자들은 이미 자신들의 몫을 다 챙겨갔습니다."