저는 AI가 어떻게 작동하는지, AI 토크노믹스는 무엇인지, 궁극적으로 AI 거래에서 실제로 어떤 것이 가격에 책정되는지에 대해 일반적인 혼란이 있다고 생각하며, 기존의 일부 주장들은 서로 모순됩니다.

우선 이것을 명확히 하자면, Brad와 Gavin이 말하는 것은 완전히 일치합니다. 여기서 Gavin이 제시하는 내용은 그가 트윗 첫 문장에서 언급했듯이 *메가 불 케이스(mega bull case)*입니다.

우리가 모두 살고 있는 기본 시나리오는 연구소들이 올해와 내년에 상당한 수익을 계속 창출할 것이라는 것입니다. OpenAI는 이미 역사상 가장 빠르게 성장하는 회사였으며 (여전히 그렇습니다)... 하지만 Anthropic은 너무 빠르게 성장해서 비교했을 때 OpenAI의 성장이 느려 보일 정도입니다.

이 모든 것의 기본 사슬은 다음과 같습니다:

전력(생성, 상호연결, 규제) ->
DC 쉘(건설, 장비, 규제) ->
반도체(컴퓨팅, 메모리, 상호연결, 첨단 패키징, 웨이퍼 용량) ->
하드웨어(네트워킹, 스토리지) ->
소프트웨어(데이터, 인프라, 추론) ->
모델(오픈, 클로즈드, 에이전틱 루프, 하니스)

이 요소들이 서로 어떻게 상호작용하는지가 궁극적인 비용, 즉 모델 비용에 영향을 미칩니다.

다음 사항을 고려해 보세요:
Nvidia는 학습 및 추론을 위한 최첨단 칩을 제조합니다. 이는 학습과 추론 모두에서 매우 뛰어납니다. Nvidia는 TSMC, 메모리 플레이어들, 기판(substrates), 레이저, 트랜시버 등 이름으로 언급할 수 있는 모든 것의 최대 고객입니다. 그리고 이제 전력을 이 방정식에 곧 포함시키려고 합니다. 컴퓨팅 단위는 대체 가능합니다(fungible). 왜냐하면 소프트웨어가 모든 클라우드, 여러 산업, 모든 모델에 걸쳐 보편적으로 실행되기 때문입니다. 이는 점점 더 많은 금융 기관들—인프라 PE 펀드, 심지어 일부 IG 부채까지—에게 신뢰할 수 있는 자산이 되고 있습니다. 왜냐하면 그것은 어디에나 존재하고 시장에서 관찰 가능하기 때문입니다. 이 때문에 Nvidia는 하드웨어에서 약 80%의 가장 높은 컴퓨팅 마진을 청구합니다.

랩들을 살펴보겠습니다:
Anthropic과 OpenAI는 주로 Nvidia/Google TPU를 활용하여 추론(inferencing)을 수행하고 있으며, 여기에 Trainium의 약간의 추가 이점들이 더해지고 있습니다. 이 분야에는 Cerebras, AMD와 같은 새로운 진입자들이 있고, 잠재적으로 OAI Jalapeno와 같은 2027년 양산형 ASIC이나 새로운 스타트업들도 존재합니다. Anthropic과 OpenAI는 최고의 모델을 만들며, 지출액(wallet)에서 압도적인 점유율을 차지하고 있습니다 (가정: 연간 반복 매출(ARR) 약 1,000억 달러). 추정 총 마진은 약 70%입니다 (경제적 추정치는 포함하는 요소에 따라 40~90%로 다양합니다). 하지만 모델 추론에서의 공헌 마진(contribution margin)은 거의 확실하게 이 수치를 70%보다 더 높이고 있습니다.

이것을 확립한 후, 저는 이 모든 것이 서로 상충되는 것처럼 보일지라도, 이러한 균형이 반드시 제로섬(zero sum)은 아니라는 점을 명시하는 것이 매우 중요하다고 생각합니다.

사고 실험 (The thought experiment)

물론 Nvidia의 마진이 0이라면, OpenAI과 Anthropic은 더 저렴한 가격으로 지능을 제공할 수 있다는 것은 사실입니다. 얼마나 더 저렴하게요? 제 추정치는 다음과 같습니다:

NVDA 감가상각비(DC) = 연간 약 125억 달러
Amazon 기본 ASIC DC = 연간 약 60억 달러

(비용이 절반 수준입니다. 따라서 Nvidia 하드웨어가 성능 면에서 2배의 이점을 갖는다면, 비용 우위가 사라지게 됩니다. 실제로 그 ASIC은 재계약 가치(recontracting value)가 훨씬 떨어져서 오히려 더 나쁜 상황일 수 있으므로, 감가상각 곡선이 더 짧아야 합니다.)

따라서 정말로, Nvidia를 배제하는 랩들은 자체 경제성으로 토큰을 약 50%에서 60% 더 저렴하게 제공할 수 있을 뿐입니다. 이것이 중요한 신호일까요? 확실히 그렇습니다. 하지만 그것이 'Out of Memory (OOM)' 수준의 차이일까요? 반드시 그렇지 않습니다. 그래서 그들이 Nvidia로부터 벗어나 다양화하려는 신중한 시도를 하는 이유(단지 좋은 비즈니스)가 되지만, 경쟁 프로그램들을 가지고 있음에도 불구하고 여전히 의존하고 있으며(실제로 Anthropic의 점유율 증가를 고려하면), Nvidia에 대한 지출을 늘리고 있습니다.

Open Source와 Closed 모델의 경우를 보면, Nvidia는 명백히 이러한 확산을 원합니다. 왜냐하면 정의상 모든 OS(오픈 소스) 모델은 처음부터 Nvidia 하드웨어에서 가장 잘 작동할 것이기 때문입니다. 물론 NVDA 하드웨어가 좋을 것이지만, 그들은 인프라(파트너십, 자금 지원, neoclouds)부터 소프트웨어(vLLM/다른 추론(inferencing) 소프트웨어, 추론 클라우드, Nemotron, NIMs, Nemoclaw 등), 설치 기반(주권형 클라우드, 글로벌 파트너십, neoclouds, 하이퍼스케일러 등)에 이르기까지 지난 4년간 Nvidia가 수행해 온 모든 활동 덕분에 이러한 우위를 점할 것입니다. 전 세계 어디에 사유지(proprietary labs) 외부의 추론이 존재한다면, 그곳에는 Nvidia가 존재할 것입니다. 오직 연구소들만이 Nvidia를 배제할 수 있을 뿐입니다. 그리고 이 연구소들로부터 창출되는 가치는 수백조에서 수경달러($ hundreds to trillions of $)로 추정되는데, 이는 만약 훨씬 더 저렴하게 제공된다면 명백히 세계에 엄청난 가치를 지니는 금액입니다.

이것이 우리가 다루고 있는 논쟁으로 이어집니다. 어느 쪽이 맞는 걸까요?

진실은 아무도 모릅니다. 연구소들에게 물어볼 수도 있고, Jensen에게 물어볼 수도 있습니다. 명확하게 답하는 사람은 그저 당신에게 거짓말을 하고 있을 뿐입니다. 하지만 몇 가지 추론 블록(reasoning blocks)을 사용하여 미래 상태에 대한 그럴듯한 경로를 구축할 수 있습니다. 여기 하나의 추론 과정이 있습니다 (자유롭게 자신만의 생각을 생성해도 됩니다):

• 강세 시나리오(Bull case): 세계 지능에 대한 지출은 연간 약 30조 달러($30T/yr$)입니다.
• 이를 증강하는 데 얼마를 쓸까요? 어쩌면 그 중 3050% 정도의 가치일까요? 시장 규모로 $1015T$가 될 수 있을까요?
• 약세 시나리오(Bear case): 전 세계 소프트웨어 개발자 약 3천만 명이 연간 각각 10만 달러($100K$)를 번다고 가정하면, 급여로 $3조 달러($3T$)의 지출이 발생합니다. GitHub 커밋이 3배 증가한다면, $1,000억 달러($100B$)의 연간 반복 매출(ARR)에 대해 생산성으로 $9조 달러($9T$)를 얻을 수 있을까요? 설령 이 중 90%가 쓸모없는 잡무(slop)라고 가정하더라도, $100B$ 지출 대비 $9,000억 달러($900B$)의 투자 수익률(ROI)을 얻게 됩니다.

저는 더 많은 추론 사슬을 가지고 있지만, 이 Jensen이 제시한 것이 설득력이 있다고 생각했습니다. 하지만 여기서는 너무 많이 공개할 수는 없습니다 :)

하지만 크라우드소싱의 정신으로 – 제가 아직 생각 중인 다른 흥미로운 아이디어들이 있습니다 (여러분도 고려해 보시길 권장합니다):

• 최적화는 항상 일어납니다. 문제는 단지 어느 정도까지, 그리고 어떤 이유로 발생하는가입니다.
• 에이전트 기반 수익(Agentic revenues)이야말로 단계 함수적인 매출 성장을 이끌었던 핵심 요소였습니다. 만약 오픈 소스가 정말 6개월 정도 뒤처지는 수준이라면, 이제는 오픈 모델에서도 매우 좋은 에이전트 기능을 볼 수 있어야 합니다.
• 하드웨어와 모델은 이제 긴밀하게 통합되어야만 합니다.
• 오픈 소스는 지속 가능한 비즈니스 모델로서 결코 말이 되지 않습니다. 이 규모로 투자하는 기업들은 항상 수익화할 방법을 찾아야 합니다. '공짜 점심은 없다(there is no free lunch)'는 원칙이 적용되며, 단 하나의 모델이 모든 것을 해결하지 못합니다... 최전선에서 훈련하고 완전히 무료로 유지할 유인이 있는 유일한 플레이어는 Nvidia입니다.
• AI 연구소의 매출/GW(Revenue / GW)는 이미 역대 최고 수준에 근접했습니다. 이제 공정하게 말하자면, Meta와 GOOG는 애초에 매출/GW를 빌드아웃을 이끄는 지표로 생각하지 않았습니다. 그것은 항상 사업 운영 비용이었지만, 지금 우리가 전력 소비 측면에서 '어리석게 비효율적'인 것은 아닙니다. 진정한 시장 창출입니다.
• 웨이퍼가 제약되고(wafer constrained), 전력이 제약되는 세상입니다. 최적의 움직임은 무엇일까요?