Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
추론 서비스 제공업체가 급증하며 월 $1M 규모로 빠르게 성장하는 등 폭발적인 시장을 형성하고 있습니다. 이 시장은 높은 활용률과 차익 거래를 기반으로 복잡한 경제 구조를 가지며, 컴퓨팅 자원 확보 경쟁이 심화되고 있습니다. 네오클라우드와 신생 기업들은 더 나은 마진과 컴퓨팅 커밋먼트를 위해 치열하게 인프라 구축에 나서고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 오픈소스 LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기엄청나게 빠르게 월 $1M에 도달하는 수많은 추론(inference) 제공업체들이 쏟아져 나오고 있습니다.
이것은 추론 제공업체의 대략적인 경제 구조를 보여줍니다:
심지어 온디맨드 B300을 GPU 시간당 $8에 임대한다고 하더라도, 많은 오픈 소스 모델(GLM 5.3, Kimi K3, DeepSeek 4.1 Flash / Pro)은 합리적인 처리량(100tok/s)으로 GPU 시간당 $10~20 이상을 달성할 수 있습니다. DeepSeek의 DeepInfer는 비피크 시간대에만 해도 GPU 시간당 $38을 벌어들일 수 있음을 직접 보여줍니다. 모든 칩/모델은 다른 처리량/상호작용 곡선을 가지고 있지만, 높은 임대 스팟 가격과 토큰 가격 사이에는 많은 차익 거래(arbitrage)가 존재합니다. 새로운 칩(Vera Rubins) 또한 이를 의미 있게 변화시키고 있습니다. 매출 총이익(gross margin)을 창출할 수 있는 능력은 활용도와 구축된 스택의 우수성에 달려 있습니다.
OpenRouter, Vercel 같은 게이트웨이는 수요를 모아주는 방식으로 이 문제를 해결하는 데 도움을 줍니다. 추론 제공업체들은 장기 계약을 확보하기 위해 토큰 할인을 제공할 수도 있습니다. 심지어 중국 모델의 토큰을 중국 연구소에 되파는 이야기도 들었습니다!
이러한 플레이어들의 경제 구조에서 하나의 걸림돌은 많은 중국 오픈 소스 모델 연구소들이 이제 특정 규모에 도달하면 수익 공유(rev share)를 요구한다는 점입니다. 특히 Day 1 지원을 위해 모델의 사전 출시 액세스를 받을 경우 더욱 그렇습니다. 이는 진입 장벽을 '돈이 되는' 수준으로 더 밀어 올립니다.
진입 장벽은 낮고 하락하는 추세인 것 같습니다. 심지어 임대한 클러스터에 OSS 모델을 구축할 방법을 '느낌대로 코딩(vibe code)' 할 수 있는 소규모 회사들의 사례도 있습니다. 그 결과, 우리는 거의 매주 이러한 회사가 10개씩 등장하고, 낮은 매출 총이익으로 즉시 매출이 급증하며 이를 바탕으로 투자 유치 라운드를 진행하는 것을 목격하고 있습니다.
놀랍지 않게도, 제공되는 실제 서비스가 상품화된(commodity) 것처럼 보이기 때문에, 이는 결국 컴퓨팅 가격을 상승시키고 토큰 가격을 하락시킵니다. 이론적으로는 컴퓨팅 비용이 가장 낮고 자체적으로 추론 서비스 사업을 시작한 네오클라우드(neoclouds)들이 바닥을 향한 경쟁에서 승리할 것처럼 보입니다 (Crusoe, Coreweave, Nebius 및 GMI 모두 추론 서비스를 제공합니다). 대형 플레이어들(Modal, Fireworks, Baseten)은 자본력이 뛰어나 저렴하게 더 큰 컴퓨팅 커밋먼트(compute commits)를 할 수 있고 수요(높은 활용률/high utilization)가 있기 때문에 그 다음 순위입니다. 하지만 현실은 파이가 너무 빠르게 성장하고 있어서 신생 기업들조차도 정말 엄청나게 잘 해내며 공격적으로 성장하고 있다는 것입니다 (inference dot net, DeepInfra, Wafer, Relace, Morph).
전략은 전반적으로 다양합니다: 네오클라우드들은 추론 서비스를 제공하는 것을 목표로 하고, 추론 서비스 기업들은 네오클라우드가 되기를 원하며 더 높은 마진의 예약 인스턴스(reserved instances)/사후 훈련(post training)을 수행하려 합니다. 또한 일부는 이종 하드웨어(heterogeneous hardware)나 창의적으로 유연한 컴퓨팅 구조체(compute constructs)로 나아가고자 합니다.
위험 요소들은 다음과 같습니다: 오픈 소스 모델들이 계속 경쟁력을 유지할 수 있을까요? 개발자들이 과도하게 지대 추구(rent seek)를 할까요? 그 형태가 컴퓨팅 수요를 바꿀까요? 다양한 칩이 경제에 어떤 변화를 가져올까요? 공급 부족 사태(supply crunch)에서 누가 컴퓨팅 자원을 확보할까요?
아래는 다양한 모델/칩셋별로 활용률에 따라 매출 총이익(Gross Margin)이 어떻게 확장되는지에 대한 공격적인 개요입니다.
현재로서는 많은 추론 서비스 제공업체들이 존재하며, 모두가 엄청나게 잘하고 있습니다!