Groq은 도대체 어떻게 더 많은 자금을 조달하고 있는가?

왠지 모르게, Palpatine이 돌아왔다.

Axios가 방금 기묘한 특종을 내놓았다. 작년 12월 Nvidia에 인수되었던 AI 칩 기업 Groq이 6억 5천만 달러를 조달하고 있다. 성공적으로 엑시트(Exit)를 한 기업이 정확히 어떻게 더 많은 자본을 조달할 수 있는 것일까?

엄밀히 말하면, Nvidia는 Groq을 인수하지 않았다. 그들은 Groq의 기술을 라이선스하고 Groq의 핵심 기술 경영진을 채용했을 뿐, Groq이라는 법인 자체를 인수한 것은 아니다. 해당 법인은 Groq의 데이터센터(Datacenters)와 추론 API(Inference API)를 유지하는 데 집중하며 운영을 지속해 왔다. 해당 API는 더 작은 모델들에 대해 극도로 빠른 추론(Inference)을 제공하는 데 집중하고 있다. 이들이 지원하는 가장 큰 모델은 GPT OSS 120B로, 이는 GPT-5.5나 Claude Mythos와 같은 프런티어 모델(Frontier models)보다 최소 10배는 더 작을 가능성이 높다. 이는 Groq 아키텍처(Architecture)의 기술적 한계이다. 각 칩 패키지에 대량의 고대역폭 메모리(HBM)가 없다면, 프런티어 모델을 서비스할 수 있는 Groq 클러스터(Cluster)를 구축하고 유지하는 데 드는 총비용은 막대할 것이다. 하지만 그들의 올-SRAM(All-SRAM) 전략 덕분에 기존의 HBM 기반 칩보다 작은 모델들을 훨씬 더 빠르게 서비스할 수 있으며, 달러당 토큰 수는 낮아지는 대신 초당 토큰 수(Tokens-per-second)를 더 많이 제공할 수 있다. 특정 애플리케이션의 경우, 이는 합리적인 선택이다.

더 중요한 점은, Groq이 이미 대규모 추론 워크로드(Inference workloads)를 서비스할 수 있도록 설정된 4개의 대형 데이터센터 배포(Datacenter deployments)를 보유하고 있다는 것이다. 새로운 데이터센터를 구축하는 것은 스타트업과 하이퍼스케일러(Hyperscalars) 모두에게 주요한 과제였기에, Groq의 데이터센터는 주요한 전략적 자산이다. 다만, Groq이라는 이름이 그들에게 정당한 우위를 제공할지, 아니면 LPU 칩 및 특정 고속·고비용 추론 전략과의 브랜드 연관성이 그들을 제한하게 될지는 지켜봐야 할 문제이다.

데이터센터는 그 어느 때보다 중요하다

데이터센터는 그 어느 때보다 중요하다

추론 (Inference) 수요가 급증함에 따라, 기존 데이터센터 (Datacenters)들은 빠르게 풀 가동 상태에 도달하고 있으며 기업들은 가능한 한 빨리 새로운 데이터센터를 구축하려고 노력하고 있습니다. 하지만 규제, 전력 문제, 그리고 전문 지식 사이에서, 데이터센터 구축 경험이 있는 대기업들조차 데이터센터 건설 프로젝트에서 심각한 지연을 겪고 있습니다. 그리고 주로 스타트업에 투자하는 벤처 투자자(Venture investors)들에게 데이터센터 수요에 직접적으로 노출되는 것은 매우 어렵습니다. 데이터센터를 구축하는 것이 매우 어렵기 때문에, 실제로 이를 수행하는 스타트업은 거의 없기 때문입니다.

Groq은 이미 4개의 기능적인 데이터센터를 보유하고 있으며, 더 많은 데이터센터를 구축하고 운영할 수 있는 인재도 갖추고 있습니다. Nvidia가 Groq의 기술을 라이선스할 때, Groq의 칩 설계 팀, 컴파일러 (Compiler) 팀, 그리고 소프트웨어 팀은 Nvidia에 합류했지만, Groq의 데이터센터 팀은 GroqCloud 추론 서비스를 유지하기 위해 남았습니다. 이는 남은 Groq 회사를 독특한 자산으로 만듭니다. 즉, 명확한 운영 전문성을 갖춘 민간 추론 데이터센터 운영자이면서, 차별화된 기술의 대부분이 Nvidia에 인수되었기 때문에 매우 낮은 기업 가치 (Valuation)를 가졌을 가능성이 높습니다.

비교를 위해 몇몇 상장된 AI 데이터센터 기업들의 수치를 살펴보겠습니다. CoreWeave는 43개의 AI 데이터센터를 운영하는 500억 달러 규모의 기업입니다. Nebius 또한 약 500억 달러의 가치를 지니고 있으며, 데이터센터 수는 11개뿐이지만 CoreWeave보다는 규모가 더 큽니다. Groq의 데이터센터만으로도 수십억 달러의 가치를 가질 수 있다고 주장할 수 있습니다.

하지만 LPU는 어떤가?

분명히, Groq을 CoreWeave나 Nebius와 직접 비교하는 데에는 몇 가지 문제가 있습니다. Groq의 데이터센터는 모두 현재 7년 된 LPUv1 칩으로 가득 차 있습니다. 그리고 Groq의 아키텍처 (Architecture)를 기반으로 한 새로운 LPUv3 칩은 Nvidia가 원하는 모든 클라우드 제공업체(Cloud provider)에게 판매되고 있습니다. 이는 Groq의 가장 큰 기술적 강점인 매우 빠른 토큰 (Tokens) 생성 능력이 더 이상 그들만의 고유한 것이 아님을 의미합니다.

게다가 Groq의 브랜드 가치는 계산을 더욱 복잡하게 만듭니다. 한편으로 Groq은 엄청나게 성공적인 결과물이었습니다. 다른 한편으로는, "인수"되었음에도 여전히 운영되고 있다는 점이 혼란을 줍니다. 또한 그들의 브랜드는 초고속 추론 (Ultra-high-speed inference)과 강력하게 연관되어 있는데, 이는 저속 배치 추론 (Lower-speed batched inference)과 비교했을 때 추론 워크로드 (Inference workloads) 시장을 지배하지 못할 수도 있음을 의미합니다. 이는 Microsoft나 Uber와 같은 주요 기업들이 AI 코딩 도구의 높은 비용에 대해 경고를 울리고 있다는 점에서 특히 우려되는 부분입니다.

어쩌면 Nvidia가 Groq의 기술을 기반으로 한 하드웨어를 구매할 때 Groq에게 유리한 조건 (Sweetheart deal)을 제공하고 있을지도 모르며, 이는 Groq을 훨씬 더 매력적인 투자 대상으로 만들 수 있습니다. 궁극적으로 Groq이 다른 클라우드 제공업체들과 경쟁력을 유지하기 위해 기존 데이터센터 (Datacenters)를 새로운 하드웨어로 성공적으로 갖출 수 있을지는 지켜봐야 합니다. 또한 그들이 고속, 고비용의 토큰 경제학 (Tokenomics)을 계속 고수할지, 그리고 그 전략이 장기적으로 성공할지 여부도 궁금합니다.