Baseten의 매출총이익률 및 compute 비용 증가에 대한 분석

Rednote에서 이것을 보고 놀랐습니다 (저는 이를 확인할 수 없습니다). Baseten이 가장 최근 분기에 매출총이익률(gross margin)이 17%였으며, 연간 가이던스가 30%에서 20%로 하향 조정되었다고 주장합니다. 제시된 이유는 수요가 계약된 용량을 초과하여 고객에게 서비스를 제공하기 위해 비싼 단기 compute를 구매하고 있기 때문입니다. 또한 Cursor가 Baseten의 연간 매출액 중 4월에 차지하는 비율이 57%에서 9월에는 28%로 떨어졌으며, Baseten이 이 부분에서 얻는 매출총이익률은 약 4%에 불과하다고 합니다.

저는 추론(inference) 마진이 SaaS보다 훨씬 낮고 데이터 스타트업보다는 훨씬 낮다는 것을 알고 있었습니다 (이는 NVIDIA와 open-weight 모델에 대한 제 이전 게시물에서 다루었습니다). 하지만 Fireworks의 공개된 수치는 약 50%입니다. Baseten은 자체 수치를 공개하지 않습니다. 17%라는 수치는 매우 다른 비즈니스를 의미할 것입니다.

이러한 수치들은 제가 배운 추론 경제학(inference economics)과 일치하지 않습니다. 하지만 다른 회사에서 뒷받침되는 증거가 있습니다: OpenAI는 투자자들에게 2025년에 조정된 매출총이익률이 40%에서 33%로 하락했다고 보고했는데, 이는 막판에 더 비싼 compute를 구매해야 했기 때문이라고 합니다. 저는 Baseten 수치에 대한 공개 출처를 찾을 수 없었습니다. 가장 근접한 정보는 CEO Tuhin Srivastava가 6월에 클라우드 제공업체가 B200 클러스터 갱신 비용으로 10월에 시간당 $5.10를 제시했으며, 이는 이전의 $2.63에서 증가한 것이라고 말한 것입니다. 94% 급증입니다.

어떤 숫자를 믿어야 할지 판단하기가 점점 어려워지고 있으며, 이곳이 어디로 향하고 있는지 파악하는 것도 더욱 어렵습니다.