Nvidia GPU가 만연한 이유: 기업들이 이 칩에 접근하는 방법

Nvidia GPU는 AI 분야에서 가장 수요가 많은 프로세서이며, 그 수요가 워낙 높아 이번 주에도 이 칩 제조사의 주가가 또 다른 기록적인 수준으로 상승하며 시가총액을 약 6조 달러에 가깝게 끌어올렸습니다.

고객들은 이제 Amazon, Microsoft, Google 같은 거대 클라우드뿐만 아니라 CoreWeave와 같은 소위 '네오클라우드(neocloud)'에서도 이 칩 접근성을 찾아볼 수 있습니다. 또한 다양한 온라인 마켓플레이스나 심지어 비용이 많이 드는 하드웨어를 직접 구매할 수도 있습니다.

Nvidia에게 이는 끊임없는 성장을 의미하며, 경영진은 10월 분기 매출이 1,080억 달러에 이를 것으로 예상하고 있는데, 이는 전년 대비 89% 급증을 기록하는 수치입니다.

하지만 컴퓨팅 파워가 당장 필요한 기업들에게는 '선택의 역설(paradox of choice)'이 골칫거리가 될 수 있습니다.

클라우드 인프라 제공업체들이 수년 동안 Nvidia 고객 목록 상위에 랭크되어 왔지만, 이 비즈니스는 다각화되고 있습니다. 한 서류에 따르면, 지난 분기에는 상위 5개 고객사가 Nvidia의 매출채권(accounts receivable) 중 최소 10%를 차지했는데, 이는 1월의 3개사에서 증가한 수치입니다.

산업 리서치 회사인 SemiAnalysis는 9월 기준으로 323개의 Nvidia GPU 제공업체가 있다고 집계했으며, 이는 11개월 전보다 209개 증가한 수치입니다.

Nvidia의 CEO Jensen Huang은 지난달 샌프란시스코에서 열린 Goldman Sachs 기술 컨퍼런스에서

AI 어시스턴트 스타트업 Abacus의 CEO Bindu Reddy는 마이크로소프트의 클라우드 인프라를 언급하며 '기업들과 이야기할 때는 당신의 서브프로세서가 Azure여야 한다'고 말했다.

지난해 동안, 선도적인 AI 연구소인 Anthropic과 OpenAI는 산업 리서치 회사 Gartner에 따르면 2025년 클라우드 인프라 시장의 59%를 장악한 Amazon과 Microsoft 사이에 5,000억 달러 이상을 지출하겠다고 약속했다.

Gartner 분석가 Hardeep Singh은 '하이퍼스케일러들은 10년 이상의 풀스택(full-stack) 역량 덕분에 기업들에게 신뢰를 보여줄 좋은 위치에 있다'고 말했다. 하지만 그는 하이퍼스케일러들이 항상 기업이 필요로 하는 만큼 많은 GPU를 가지고 있는 것은 아니라고 지적했다.

Amazon의 CEO Andy Jassy는 지난 7월 분석가들에게 소매업체이자 클라우드 선구자인 회사가 올해 예상하는 모든 수요를 충족시키지 못할 것이라고 말했다.

그는 '저는 이러한 역동성이 2027년에도 사실일 것이라고 믿는다'고 덧붙였다.

만약 하이퍼스케일러들이 충분했다면, 네오클라우드(neocloud)가 만연하지 않았을 것이다. AI 에이전트가 메인 IT 환경과 독립적으로 작동하는 가상 샌드박스를 운영하는 스타트업 Modal의 CEO Erik Bernhardsson에 따르면, 이 회사는 하이퍼스케일러에서 주요 네오클라우드로 옮겨갔으며 현재 그중 25곳을 사용하고 있다고 한다.

그는 '수백 개의 GPU나 어쩌면 천 개 정도는 얻을 수 있지만, 우리 규모에서는 훨씬 더 많은 GPU가 필요했다'고 말했다.

하이퍼스케일러들 자신들도 네오클라우드를 추격하고 있다. Google과 Microsoft는 서로 경쟁하는 와중에도 CoreWeave를 활용하기 시작했다.

네덜란드에 기반을 둔 미국 운영의 네오클라우드 Nebius의 최고 수익 책임자(chief revenue officer) Marc Boroditsky는 '일부 하이퍼스케일러들이 자신들이 필요할 때 고객에게 서비스를 제공할 능력이 없어서 걱정하는 고객들을 돌봐주는 것에 대해 우리에게 접근했다'고 말했다.

비디오 생성 스타트업 Reactor의 CEO Alberto Taiuti에 따르면, 이 회사는 Nebius와 하이퍼스케일러를 통해 GPU를 사용하고 있다. 그는 데이터 센터의 위치가 중요하다고 말했는데, 이는 Reactor가 사용자 제작 비디오를 즉시 보여주기를 원하기 때문이다. Taiuti는 Nebius가 Reactor가 필요로 하는 특정 GPU, 우수한 고객 서비스 및 충분한 하드웨어와 소프트웨어를 좋은 가격에 제공한다고 말했다.

Bernhardsson은 가장 눈에 띄는 네오클라우드는 초기 선지급금이 필요할 수 있으며, 공급업체가 계약을 기반으로 자금을 조달하고 데이터 센터 장비를 구축하기 때문에 칩이 몇 달 동안 온라인 상태가 아닐 수도 있다고 말했다.

CoreWeave의 전무이사 Chen Goldberg에 따르면, 이 회사가 하루 전에 새로운 고객에게 10,000개의 GPU를 넘기는 것은 어려울 것이라고 했다. CoreWeave의 CEO Mike Intrator는 회사 8월 실적 발표에서 단기 용량이 본질적으로 매진 상태라고 말했다.

만약 기업들이 즉시 GPU가 필요하다면, 유명 브랜드 외의 곳을 이용해야 할 수도 있다. 일부 네오클라우드는 특정 국가를 목표로 하기 때문에 일반 대중에게는 알려지지 않았지만, 경우에 따라 실행 가능할 수 있다.

Runpod의 CEO Zhen Lu는

세계 최대 클라우드 제공업체 중 하나인 Oracle은 고객들이 자체 GPU를 가져오도록 허용하고 있습니다. 이 소프트웨어 제작사는 Amazon나 Microsoft보다 부채가 많고 신용 등급이 낮아 GPU 지출에 있어 유연성이 적습니다. 하지만 기술 운영에는 만족하는 것 같습니다.

Oracle의 CFO Hilary Maxson은 6월 실적 발표 컨퍼런스 콜에서 분석가들에게 '자체 하드웨어 반입(bring-your-own-hardware)'과 같은 경우 마진을 유지하고 개선할 수 있기 때문에, 이러한 구조의 ROIC(return on invested capital, 투하자본수익률)는 훨씬 더 높을 것'이라고 말했습니다.

Oracle은 이 방식을 선택하는 기업들의 이름을 공개하지 않았습니다. Oracle 주식 매수를 추천하는 Guggenheim Securities의 분석가 John DiFucci에 따르면, GPU 최고 생산 업체인 Advanced Micro Devices와 Nvidia가 자체 GPU를 Oracle에 가져오는 것이 합리적일 것입니다.

수천 개의 GPU를 구매하는 대신, 자본이 제한적인 초기 단계 스타트업들은 클라우드를 통해 몇 시간 동안 더 저렴하게 이를 빌릴 수 있습니다. 그리고 고성능 컴퓨팅(heavy-duty computing) 요구 사항을 가진 기업들에게 Oracle의 새로운 경로는 전체 데이터 센터를 구축하는 것보다 더 매력적일 수 있습니다. OpenAI는 Oracle과 향후 5년간 3,000억 달러 이상 지출하기로 약속했지만, GPU 반입에 대해서는 언급하지 않았습니다.

OpenAI는 논평을 거부했습니다.

이 방식은 AI 칩 구매 자본은 있지만 충분한 전력, 데이터 센터 공간 또는 숙련된 인력이 없는 기업들에게 합리적일 수 있습니다. 하이퍼스케일러(hyperscaler) 동료들과 마찬가지로 Oracle은 이 세 가지 요소를 건강한 양으로 확보하기 위해 노력하고 있습니다.

또 다른 떠오르는 옵션은 GPU를 트럭 가득 실어 임대하는 기업들과 대규모 계약을 맺는 것입니다.

SpaceX는 하이퍼스케일러 Google 및 오픈 소스 스타트업 Reflection과 별도의 거래를 통해 초과 용량을 제공하기로 했습니다.

지난 4월, SpaceX는 Cursor에 GPU를 제공하기로 합의한 후, 이 AI 코딩 스타트업을 총 600억 달러에 전격 인수했습니다. 그리고 5월에는 SpaceX가 Anthropic과 중반 2029년까지 매달 12억 5천만 달러에 GPU를 임대하는 계약을 체결했습니다. 이는 대부분의 스타트업이 감당하기 어려운 금액입니다.

하지만 SpaceX에게는 이 수치들이 매우 유리하게 작용합니다.

회사의 재무 책임자인 Bret Johnsen은 지난 8월 분석가들에게 "현재 경제 상황은 컴퓨팅에 대한 새로운 자본 투입금 회수 기간을 1년 미만으로 만들었다"고 말했습니다.

SpaceX만이 아닙니다. CNBC는 지난 7월 Meta가 AI 컴퓨팅 파워를 판매할 수 있는 클라우드 유닛을 구성하기 위해 노력하고 있다고 보도했습니다.

한편, 기업들은 CEO들이 역량과 비용 통제 사이의 균형을 맞추기 위해 여전히 구식 방식대로 GPU가 채워진 서버를 자체 데이터 센터(on-premises data centers)에 설치하고 있습니다.

하드웨어 제조사 Lenovo의 인프라 솔루션 그룹은 6월 분기에 기업 및 중소기업 부문에서 매출이 거의 두 배 가까이 증가했습니다. 선임 부사장인 Vlad Rozanovich는 "더 많은 기업들이 '어떻게 우리 사내에 AI를 도입할 수 있을까?'라고 말하기 시작하고 있다"고 말했습니다.

지수를 유지하는 스타트업 Ornn의 데이터에 따르면, Nvidia B200 GPU의 시간당 현물 가격(spot price)은 3월 이후 두 배 이상 상승했습니다.

협업 소프트웨어 제작사 Dropbox는 GPU를 자체 데이터 센터에서 사용하고 있다고 CEO Ashraf Alkarmi가 말했습니다.

그는 "더 많은 것을 하려면, 우리의 공급망 연결 고리는 여전히 유익하며 구조적인 이점이다"라고 말했습니다.

데이터 센터 스토리지 하드웨어 및 소프트웨어를 판매하는 Everpure의 CEO Charlie Giancarlo는 회사의 소프트웨어 엔지니어들을 위해 자체 GPU를 확보했다고 전했습니다.

그는 "매우 역동적인 가격 환경에서는 의존할 수 있는 여러 출처를 갖는 것이 항상 좋다"고 말했습니다.

Hightower's Stephanie Link: I like that Nvidia is showing growth and confidence