IPO를 마친 Cerebras, 이제 다시 AI의 한계를 밀어붙일 수 있다

지금부터 내년 여름 사이만큼 AI 관련 기업이 상장하기에 더 좋은 시기는 아마 없을 것입니다. 생성형 AI (GenAI) 열풍은 최고조에 달해 있으며, 4대 하이퍼스케일러 (Hyperscalers) 및 클라우드 빌더 (Cloud builders)인 Amazon Web Services, Google Cloud, Meta Platforms, Microsoft Azure만 해도 2026년 자본 지출 (Capital expenses)이 6,950억 달러에서 7,250억 달러 사이가 될 것이라고 공동으로 전망했습니다. 자체 데이터센터 (Datacenters)를 구축하기 시작한 대형 AI 모델 빌더들, 중국의 하이퍼스케일러들, 그리고 생성형 AI (GenAI) 흐름에 동참하고자 하는 소버린 AI 센터 (Sovereign AI centers), HPC 센터, 학술 센터 및 정부들이 지출할 금액도 아마 최소한 그 정도는 될 것으로 예상됩니다.

생성형 AI (GenAI)는 경제적으로나 군사적으로나 전술적이고 전략적인 무기이며, 이러한 분야의 기존 질서에 큰 이득을 줄 수도 있지만 동시에 큰 해를 끼칠 수도 있는 문화적 힘이기도 합니다.

이러한 배경 속에서, 하이퍼스케일러 (Hyperscalers)와 클라우드 빌더 (Cloud builders)들은 AI 추론 (Inference) 워크로드에 대해 더 높은 가성비를 얻기 위해, 혹은 단순히 어떤 종류의 행렬 연산 (Matrix math) 연산이라도 확보하기 위해 자체적인 CPU 및 XPU를 설계하거나 Nvidia 및 AMD 이외의 기업들과 파트너십을 맺고 있습니다.

Cerebras Systems가 상장하기에 이보다 더 좋은 날을 선택하여 Anthropic, OpenAI, 그리고 SpaceX의 기업 공개 (IPO) 분위기를 조성하기는 어려웠을 것입니다. 여기서 SpaceX는 아마 향후 Grok 모델을 구축하지는 않겠지만, Anthropic과 경쟁하기 위해 Memphis에 있는 Colossus-1 슈퍼컴퓨터의 용량을 판매하고 있는 xAI 모델 구축 사업을 흡수했습니다.

이는 전형적인 "적의 적은 나의 친구" 시나리오입니다. OpenAI와 Musk 사이에는 애정이 전혀 없으며, Musk는 OpenAI가 비영리 단체로 설립되었다가 나중에 마음을 바꿨다는 점을 정확히 지적한 초기 투자자 중 한 명입니다. 장기적으로는 SpaceX가 파운데이션 모델 (foundation models)을 구축하거나, 어쩌면 Tesla가 할 수도 있습니다. Elon Musk는 아마도 체스판 위의 말들을 움직이는 것을 멈추지 않을 것이며, SpaceX와 Tesla가 자율주행 자동차, 자율 로봇, 우주 발사를 수행하는 하나의 거대한 복합 기업으로 합병되는 것을 보는 것도 놀라운 일은 아닐 것입니다. 이 모든 분야는 생성형 AI (GenAI) 모델보다 물리적 AI (physical AI) 모델을 더 필요로 합니다. 만약 Musk의 복합 기업에 생성형 AI 모델이 필요하다면, Microsoft가 수년 동안 OpenAI를 상대로 했던 것처럼 컴퓨팅 용량 (compute capacity)을 모델 접근 권한과 맞바꿈으로써 Anthropic의 Claude를 사용하면 그만입니다.

Cerebras Systems의 주식에 대한 수요는 엄청났습니다. 투자 은행가들이 공동 창립자이자 최고 경영자 (CEO)인 Andrew Feldman이 NASDAQ 시장에서 종을 울리기까지 확실히 시간을 끌긴 했지만, 주당 185달러로 공모된 2억 1,523만 주에 대해 25배의 초과 청약이 발생하며 Cerebras는 55억 5,000만 달러를 조달했습니다. 결국 Cerebras의 주식은 주당 311달러의 가치를 지니게 되었으며, 유통 주식의 시가 총액 (market capitalization)은 398억 달러에 달했습니다. 회사의 모든 주식과 워런트 (warrants)를 고려하면 시가 총액은 약 950억 달러입니다.

지난 2월 10억 달러 규모의 Series H 펀딩 라운드 이후 230억 달러의 기업 가치를 인정받았던 기업치고는 결코 나쁘지 않은 성적입니다.

이번 IPO를 통해 Feldman의 Cerebras 지분 4.5%는 32억 달러의 가치를 지니게 되었으며, 최고 기술 책임자 (CTO) Sean Li는 17억 달러 가치의 2.4% 지분을 보유하게 되었습니다.

우리는 Cerebras의 모든 재무 상태를 다시 요약하지는 않을 것입니다. 우리는 지난 4월, 이 회사가 상장을 준비하며 S-1 서류를 다시 제출했을 때 이를 자세히 파헤친 바 있습니다. Cerebras는 원래 작년에 상장을 계획했으나, 추가 펀딩 라운드를 통해 자금을 조달할 수 있게 되면서 이를 중단했었습니다. Series H 라운드에서 확보한 10억 달러를 포함하여, 현금 및 시장성 유가증권 13억 달러, 그리고 현재부터 2028년 사이에 OpenAI에 CS wafer-scale 시스템을 설치하기 위한 200억 달러 규모의 750메가와트(MW) 계약에서 발생하는 10억 달러의 운전 자본, 그리고 2029년과 2030년에 추가될 3기가와트(GW) 규모의 장비를 모두 합산한 수치입니다. IPO를 통한 55.5억 달러의 자금 유입으로, 이 회사는 89억 달러의 현금 및 현금성 자산을 보유하게 되었습니다. 이는 OpenAI뿐만 아니라 중동의 다른 두 주요 고객사인 Mohamed bin Zayed University of Artificial Intelligence 및 G42를 위한 시스템을 구축하기에 충분한 자금입니다. Amazon Web Services (AWS)와의 계약은 아직 완전히 구체화되지 않았지만, 우리는 계약이 성사될 것이라고 생각하며, CS 시스템이 AWS의 자체 개발 시스템인 Trainium을 보완하는 저지연 추론 (low latency inference) 박스가 될 가능성도 있습니다. Anthropic 또한 Cerebras와 계약을 체결하는 것을 보는 것도 놀라운 일은 아닐 것입니다. 특히 Anthropic이 상장하기 전, 저지연 AI 추론 (low latency AI inference)을 수행하는 데 필요한 역량을 갖추었음을 보여주기 위해 조만간 계약이 이루어질 수 있습니다.

Cerebras가 현재 보유한 막대한 현금에 있어 매우 중요한 점은 다음과 같습니다. Cerebras는 웨이퍼 스케일 (waferscale) 칩 제조 분야에서 성공적인 혁신가이며, 여러 기업이 시도했다가 실패했던 것을 만들어냈습니다. 하지만 트랜지스터 밀도가 충분히 빠르게 높아지지 않는 것과 동시에 실리콘 웨이퍼의 크기도 커지지 않고 있습니다. Taiwan Semiconductor Manufacturing Co (TSMC), Samsung, 그리고 Intel이 그들의 파운드리 (foundry)에서 제공할 수 있는 밀도와 성능이 무엇이든 간에, 우리는 300mm (12인치) 웨이퍼에 갇혀 있으며, 10년 전에 실패했던 450mm (18인치) 웨이퍼를 향한 노력은 실현되지 않을 것입니다. 설령 그것이 실현된다 하더라도, Cerebras에게 연산 (compute)과 SRAM을 배치할 공간을 50% 더 확보해 주는 것에 불과할 것입니다.

우리는 아마 올해 말쯤 출시될 WSE-4 웨이퍼 스케일 칩을 통해, Cerebras가 X축과 Y축에서 해왔던 것처럼 Z축에서도 혁신하며 3D 방식으로 나아가야 할 것이라고 생각합니다. 1년여 전 저지연 AI 추론 (low latency AI inference) 전쟁이 본격적으로 시작되었을 때, Cerebras와 Groq 모두 연산 능력을 위해서가 아니라, 모델 가중치 (model weights)를 연산 장치 근처의 메모리에 담기 위해 시스템 내에 충분한 SRAM을 확보할 수 있는 유일한 방법이었기에 여러 대의 머신을 묶어야만 했습니다. 처음에는 3대의 CS-3 머신이었고, 그다음은 4대였으며, 이후 Cerebras는 테스트 결과를 발표할 때 머신의 대수에 대해 언급하는 것을 중단했습니다. Groq 역시 마찬가지였습니다.

분명한 것은 WSE-3 웨이퍼 스케일 프로세서의 연산 대비 SRAM 비율 (compute to SRAM ratio)이 저지연 추론에 적합하지 않다는 점입니다. 이를 해결하는 데에는 두 가지 방법이 있습니다. 공정을 미세화하여 연산을 줄이고 SRAM을 대폭 늘리거나, 아니면 다른 방법을 찾는 것입니다. 하지만 12인치 웨이퍼에서 잘라낸 2D 정사각형 위에 3배에서 4배 더 많은 SRAM을 배치하는 것은 매우 어려울 것입니다. 그렇게 한다면 각 웨이퍼 스케일 칩에 들어가는 연산량이 훨씬 적어질 것이기 때문에, 연산 규모를 확장하기 위해 이러한 웨이퍼들을 상호 연결 (interconnect)해야 할 것입니다.

또 다른 옵션은 AMD와 Intel이 CPU 및 GPU에서 보여준 방식과 같이, 온칩 메모리 (on-chip memory)를 수직으로 쌓아 올리는 것입니다. 기본 WSE-4 웨이퍼 위에 SRAM을 적층 (Stacked SRAM)하는 방식은 이 문제를 쉽게 해결할 수 있으며, 적절한 규모를 유지하면서도 여전히 유용한 AI 모델이 다시 단일 장치에 들어갈 수 있도록 WS 엔진당 유효 성능을 높일 수 있습니다. 저희는 차세대 WSE-4가 최소한 이 정도 수준은 구현할 가능성이 매우 높다고 생각합니다.

물론 저희는 혁신에 대해 더 높은 기대를 가지고 있습니다. 저희는 WS-4가 웨이퍼에서 공유 DRAM 메모리 트레이 (DRAM memory trays)로 연결되는 광학 링크 (optical links)를 갖추어 CS-4 시스템의 MemoryX 용량을 크게 확장하고, 메모리가 자체적인 네트워크를 갖게 되기를(최근 GPU에서 소위 scale up memory fabrics라고 불리는 방식처럼) 바랍니다. 또한, 공동 패키징 광학 (co-packaged optics)을 사용하는 광학 링크를 통해 SwarmX 클러스터링 (SwarmX clustering)을 구현함으로써 WSE 장치 간의 대역폭 (bandwidth)을 크게 높일 수도 있을 것입니다.