COMPUTE

스타트업 d-Matrix, Raptor 메모리 기반 XPU를 Nvidia Rackscale Iron에 결합

스타트업 d-Matrix의 엔지니어들은 지난 7년간 AI 추론(inferencing) 워크로드를 가속화하고 비용을 절감하도록 설계된 하드웨어 및 소프트웨어 플랫폼 조각들을 맞춰왔습니다. 공동 창립자이자 최고 경영 책임자인 Sid Seth에 따르면, 이 회사는 2019년 설립 이후 추론 작업에 집중해 왔는데,

XPU는 SRAM이나 3D-RAM과 같은 메모리를 GPU 및 CPU와 동일한 랙에 긴밀하게 결합하여 토큰 생성을 가속하고 관련 비용을 줄입니다. 분리된 환경(disaggregated environment)에서, 컨텍스트 토큰이 처리되는 추론 워크로드의 컴퓨팅 집약적인 프리필(prefill) 단계에는 GPU가 가장 적합하며, 반면 Corsair는 AI 모델이 사람이나 다른 모델로부터의 쿼리에 응답으로 코드나 기타 종류의 응답을 생성하는 디코드(decode) 부분에 더 적합합니다.

GigaIO 데이터센터 사업부 인수를 바탕으로 d-Matrix는 Arista Networks, Broadcom, Supermicro와 함께 구축한 SquadRack 레퍼런스 디자인도 출시했습니다.

Seth는 “우리의 전체 접근 방식은 사람들이 컴퓨팅에 투입하는 자본을 더 많이 활용하는 것에 기반하고 있습니다. 우리는 정말 빠르고 강력한 컴퓨팅을 실행할 수 있습니다. 적은 시간 안에 더 많은 추론 작업을 수행하며, 메모리 중심 컴퓨팅으로 매우 에너지 효율적인 솔루션을 만들었습니다. 이는 우리가 이 자원들(돈, 시간, 에너지)을 덜 사용하면서도 더 많이 할 수 있게 해줍니다. 장기적으로는 데이터센터를 추가로 구축할 필요성을 완화할 수 있기를 바랍니다.”라고 말했습니다.

Corsair가 시장에 나온 지 몇 달 만에 d-Matrix는 최근 Hot Chips 2026 쇼에서 상세히 설명한 후속 플랫폼인 Raptor와, 다중 고밀도 DRAM 스택(multi-high DRAM stack)을 특징으로 하는 Lightning 플랫폼을 로드맵에 올리는 것에 대해 논의하고 있습니다. 올해 말까지 테이프아웃되고 2027년 4분기에 출시될 Raptor는 대만 반도체 제조사(Taiwan Semiconductor Manufacturing Co)가 제조한 4나노미터 컴퓨팅 다이를 36마이크론 피치에 맞춘 맞춤형 DRAM 다이 위에 통합한 3D-RAM 가속기를 포함합니다.

Raptor를 통해 D-Matrix는 현재 HBM 패키징에 사용되는 칩 온 웨이퍼(chip-on-wafer) 패키지 변형을 사용합니다. 이는 DRAM 메모리 칩과 SRAM 컴퓨팅 칩을 결합할 것입니다.

Nvidia와의 새로운 파트너십은 d-Matrix가 엔터프라이즈 및 HPC 데이터센터뿐만 아니라 AI 연구소, 하이퍼스케일러(hyperscalers), 대형 클라우드 빌더(big cloud builders), 그리고 신규 클라우드 스타트업까지 영역을 확장하는 데 도움을 줄 것입니다. 목요일에 발표된 이 파트너십을 통해 d-Matrix의 Raptor XPU 플랫폼은 Nvidia의 AI 팩토리 오퍼링의 일부로 배치되는 Nvidia의 MGX 레퍼런스 아키텍처를 통해 사용할 수 있게 됩니다. Seth는 Raptor가 “넣을 집”이 필요하며, 자체 액체 냉각 랙을 구축하는 것도 옵션이지만, Nvidia가 이미 존재하는 생태계를 제공한다고 말했습니다.

그는 “이는 우리가 D-Matrix에서 개발하고 있는 놀라운 혁신 기술을 빠른 규모로 시장에 출시할 수 있는 가장 빠른 방법이며, 이를 뒷받침할 강력한 공급망과 전 세계 모든 데이터센터에 배치된 파트너를 확보하는 길”이라고 말했습니다.

이 파트너십에는 Lightning을 포함하여 d-Matrix의 향후 버전 XPU도 포함될 것입니다.

Nvidia의 AI 팩토리 사업은 빠르게 확장하고 있습니다. 회사는 2027년 2분기 실적 발표에서 최고재무책임자(CFO) 겸 전무 부사장인 Colette Kress가, 'Grace-Hopper' 랙스케일 시스템이 2022년에 약 기가와트당 180억 달러의 수익 기회였던 것이 다가오는 'Vera-Rubin 시스템'과 함께 현재는 기가와트당 400억 달러로 성장했다고 밝혔습니다. 이것이 d-Matrix가 참여하는 기회입니다.

d-Matrix 계획의 핵심은 NVLink와 NVSwitch이며, 이는 Nvidia의 고속 상호연결 기술(high-speed interconnect)로서 GPU, CPU 및 기타 가속기를 일관되게 연결하여 랙스케일 MGX 아키텍처에 포함됩니다. 이 아키텍처에는 Vera CPU, Rubin GPU, Bluefield-4 DPU, Spectrum-X 이더넷 네트워킹, 그리고 ConnectX-9 SuperNIC가 포함됩니다.

d-Matrix는 아래 왼쪽에서 볼 수 있는 것과 동일한 NVLink 컴퓨트 트레이를 사용하지만, Vera-Rubin 칩 대신 Raptor XPU와 Nvidia의 Vera CPU 및 Bluefield DPU를 탑재하고, 확장(scale out)을 위해 ConnectX 및 Spectrum-X 네트워킹을 사용할 것입니다. 이는 오른쪽에 있는 액체 냉각 방식 NVL144 MGX 랙에 연결되며, d-Matrix는 NVLink 스위치 트레이를 사용합니다. 이 랙 자체에는 144개의 Raptor XPU가 탑재됩니다.

또한 이 랙은 각 카드 내부에 100 TB/sec으로 작동하는 2.3 TB의 3D-스택 DRAM 고속 메모리를 갖추고 있으며, 단일 랙에서 총 집계 메모리 대역폭은 초당 7.2 페타바이트에 달합니다. 또한 Raptor 랙을 Nvidia의 Vera-Rubin GPU를 실행하는 랙의 보조 장치(companion)로 사용할 수도 있는 옵션이 있습니다.

Seth는 “이 솔루션의 장점은 우리가 Raptor 트레이를 가져와 많은 데이터센터에 광범위하게 배치된 동일한 NVL144 MGX 랙 아키텍처에 플러그인함으로써, 해당 데이터센터에 즉시 접근할 수 있다는 것입니다”라고 말했습니다.

Hot Chips 행사에서 d-Matrix는 Raptor 칩 랙에서 실행되는 두 개의 AI 모델—Z.ai의 GLM 5.2와 Moonshot AI의 Kimi K3—의 결과를 발표했습니다. GLM 5.2를 사용했을 때, d-Matrix는 사용자당 초당 약 3,000 토큰의 성능을 얻었으며, Kimi 모델은 사용자당 초당 1,000 토큰에 도달했습니다. Seth는 이 공급업체가 이를 8개의 랙에 걸쳐 확장할 수 있다고 언급했습니다.

Nvidia 데이터센터 GPU 사업부의 수석 제품 마케팅 관리자인 Jesse Clayton은 d-Matrix 파트너십이 Nvidia의 아키텍처 접근 방식을 보여주며, 그가 “완전히 대체 가능(completely fungible)”하고 “수직적으로 통합되었지만 수평적으로 개방된(vertically integrated, but horizontally open)” 플랫폼을 제공한다고 말했습니다. 공급업체들은 본질적으로 Groq 3 LPX 가속기 랙도 포함하는 Nvidia의 기술 스택 중 원하는 만큼 사용할 수 있으며, 자신들의 제품을 플러그인할 수 있습니다. NVLink Fusion 포트는 다른 실리콘에도 이 플랫폼을 개방합니다.

곧 Corsair 및 Raptor 아키텍처에 대해 더 깊이 파고드는 내용을 다룰 예정입니다. 계속 지켜봐 주십시오.