이제 빅테크들도 깨달은 거임. "비싼 엔비디아 칩을 모든 곳에 쓸 게 아니라, 24시간 돈 먹는 서비스 운영(추론)부터는 전용 칩으로 돌려야

이제 빅테크들도 깨달은 거임. "비싼 엔비디아 칩을 모든 곳에 쓸 게 아니라, 24시간 돈 먹는 서비스 운영(추론)부터는 전용 칩으로 돌려야 살아남는다"는 걸.

그 상징적인 사례가 이번 주 메타와 구글의 동맹으로 드러났음.

그동안 엔비디아 GPU를 트럭째 사들이던 메타가, 정작 24시간 돌아가는 실제 AI 서비스(추론 등)에 구글이 만든 AI 전용 칩(TPU)을 투입해 이미 돌리고 있다고 이번 주 공개했고,

아예 다른 개발자들도 엔비디아에서 구글 칩으로 훨씬 쉽게 옮겨갈 수 있는 연결 도구까지 무료 오픈소스로 풀어버렸음.

도대체 메타와 구글이 무슨 일을 벌인 건지, 그리고 이게 왜 엔비디아의 가장 아픈 곳을 찌르는 건지 쉽게 정리해 봄.

AI에 들어가는 연산은 크게 두 가지로 나뉨. 백지상태의 AI를 처음부터 가르치는 '학습'과, 이미 다 배운 AI를 수억 명의 사용자에게 24시간 돌리며 답변을 내주는 '추론(실제 서비스 운영)'임.
초창기엔 AI를 처음 만드는 '학습' 비중이 컸지만, 서비스가 커진 지금은 전체 AI 클라우드 연산 비용의 절반에서 3분의 2 이상이 24시간 돌아가는 '추론'에서 빠져나감.
게다가 빅테크들이 데이터센터와 개당 수천만 원짜리 칩에 돈을 쏟아붓다 보니 현금까지 마르기 시작했음. 실제로 메타는 이번 주 발표된 3분기 실적에서 AI 인프라 투자 부담 때문에 2012년 상장 이후 처음으로 분기 잉여현금흐름 적자(-21.2억 달러)를 기록했음. 상황이 이렇다 보니 24시간 내내 돌아가며 전기와 돈이 새 나가는 '추론 운영비'부터 어떻게든 아껴야 하는 처지가 된 거임.

사실 구글은 이미 오래전부터 엔비디아 칩 대신 자기네가 직접 만든 AI 전용 칩(구글 TPU)으로 제미나이를 돌리며 운영비를 아끼고 있었음.
그런데 왜 메타나 다른 기업들은 구글 TPU로 쉽게 못 넘어갔을까? 바로 '프로그램 호환성 장벽' 때문이었음.
전 세계 AI 개발자들과 메타는 대부분 메타가 만들고 주도해 온 표준 도구인 '파이토치(PyTorch)'와 엔비디아의 'CUDA' 환경에서 AI를 만듦.
반면 구글 TPU를 제대로 쓰려면 구글 전용 방식(JAX)으로 AI 코드를 새로 짜거나, 느리고 자주 꼬이는 옛날 변환기(기존 PyTorch/XLA)를 거쳐야만 했음. 쉽게 비유하면 아이폰(엔비디아)용으로 만든 앱을 갤럭시(구글 칩)에서 돌리려니 앱을 새로 만들거나 버그 많은 변환기를 써야 해서, 울며 겨자 먹기로 비싼 아이폰만 계속 사던 상황이었던 거임.

그런데 이번 주 열린 파이토치 콘퍼런스에서 파이토치를 주도하는 메타와 TPU의 주인인 구글, 그리고 주요 추론 엔진인 SGLang 개발팀이 손을 잡고 이 장벽을 허물어버렸음.
이들이 공동 개발해 무료 오픈소스로 공개한 'TorchTPU'와 'SGLang-TorchTPU'를 쓰면, 개발자들이 코드를 통째로 새로 짤 필요 없이 기존 파이토치 코드에서 장치 설정 위주로 최소한의 수정(device="tpu" 등)만 거쳐도 엔비디아 GPU에서 돌리던 AI 모델을 구글 클라우드 TPU 위에서 바로 돌릴 수 있게 됨. (대표 추론 엔진인 vLLM과 허깅페이스까지 바로 연동됨.)
단순한 실험 수준이 아니라, 메타의 PyTorch-TPU 총괄(Zongwei Zhou)은 이미 메타의 실제 상용 서비스(거대언어모델 추론·추천 시스템 등)가 이 구글 TPU 위에서 돌아가고 있다고 밝혔음. 심지어 메타와 구글은 추론을 넘어, 구글의 최신 7세대 TPU '아이언우드' 최대 8,192개를 묶어 대형 모델을 학습시키는 테스트까지 성공했다고 함께 공개했음.

그렇다고 엔비디아가 당장 망한다는 얘기는 아님. 메타 역시 여전히 막대한 양의 엔비디아 칩을 사들이고 있고, 새로운 AI를 처음 가르치는 최상위 '학습' 시장에서는 엔비디아 GPU가 여전히 압도적임.

다만 엔비디아 입장에서 진짜 아픈 건 빅테크들의 '선택지'가 넓어졌다는 점임.

앤트로픽(클로드)이 학습·추론용으로 구글 TPU를 최대 100만 개 쓰기로 한 데 이어, 이제는 메타까지 구글과 손잡고 엔비디아 없이도 대규모 추론을 돌릴 수 있는 오픈소스 다리를 깔아버렸음.

빅테크들이 "꼭 필요한 학습 위주로만 비싼 엔비디아 칩을 쓰고, 돈 많이 먹는 추론부터는 전용 칩으로 나누겠다"며 물량을 분산할수록, 엔비디아가 지금까지 당연하게 누리던 '부르는 게 값(마진율 70% 중반대)'이던 독점력은 점점 압박을 받을 수밖에 없게 될 것.

요약