추론은 팔수록 손해라는 말이 올해 들어 사실이 아니게 됐음

요약

AI 추론 비용 절감과 효율적인 기술 도입으로 인해 AI 기업들의 수익성이 급격히 개선되고 있습니다. Anthropic과 OpenAI의 이익률 상승, 그리고 클라우드 기업들의 막대한 수주 잔고는 AI 인프라 투자가 단순 지출이 아닌 매출로 직결되고 있음을 보여줍니다.

앤트로픽이 6월에 첫 총이익을 냈고 3분기에는 영업이익이 10억 달러를 넘길 걸로 봄. IPO 서류에 들어갈 수치라고 함. 오픈AI 총이익률은 작년 말 30%에서 지금 55%, 무료 사용자를 빼면 65%임. 아마존도 베드록 덕에 총이익률이 예상을 넘겼음.

토큰 값은 계속 떨어지는데 마진이 오르는 건 원가가 더 빨리 떨어져서임. 예전엔 대화가 길어질 때마다 앞의 내용을 처음부터 다시 계산했는데, 이걸 저장해뒀다 꺼내 쓰면서 재계산이 95% 넘게 사라짐. 비용이 절반 아래로 내려감.

GPU 빌리는 값도 공개돼 있음. B300이 시간당 7.85달러, H100이 3.85달러임. 장기계약은 여기서 40% 깎임. 1기가와트짜리 데이터센터 하나에 B300이 38만 개 들어가고, 그걸 장기계약으로만 채워도 연 22조원이 나옴.

그래서 구글 capex를 보는 눈이 문제임. 올해 지출을 2,050억 달러로 올린다고 하자 주가가 빠졌는데, 같은 발표에 수주잔고가 5,140억 달러였음. 절반 넘는 금액을 24개월 안에 매출로 잡는다고 했고 클라우드 영업이익률은 20.7%에서 35.6%로 올랐음.

월가가 보는 건 이번 분기에 나간 현금이고, 회사가 보는 건 이미 계약서에 적힌 5,140억임. 팔린 물량을 채우려고 짓는 설비를 낭비라고 부르는 중임.

AI 자동 생성 콘텐츠