최근 수요가 공급을 크게 초과함에 따라 DDR5 메모리 가격이 새로운 고점을 기록하고 있습니다. 비용을 절감하기 위해 Meta는 사용 중인 서버에서 기존 DDR4 메모리를 회수하고 있으며, 자체 개발한 Vistara ASIC을 사용하여 이를 새로운 장비에 설치하고 있습니다. 이 칩을 통해 DDR5 메모리만 지원하는 AMD EPYC 'Turin' 프로세서 기반의 최신 서버에 구형 메모리 모듈을 연결할 수 있습니다.

흥미롭게도 이러한 솔루션을 개발하는 기업은 Meta뿐만이 아닙니다. 한국의 스타트업인 Panmnesia는 지연 시간(Latency)을 연장하지 않고도 서버에 훨씬 더 큰 메모리 풀을 부착할 수 있게 해주는 기성품 CXL 컨트롤러 및 스위치를 개발했으며, 이는 Panmnesia의 솔루션을 경쟁사의 CXL 제품들과 차별화하는 요소입니다.

커스텀 ASIC을 통해 DDR4 메모리를 신규 서버에서 사용 가능하게 함

Vistara는 구형 DDR4 메모리를 현대적인 서버에 연결하기 위해 설계된 Meta의 1세대 커스텀 CXL 메모리 확장기 (Memory Expander) ASIC입니다. 이 칩은 PCIe 5.0 x16 인터페이스를 통해 CXL 2.0 Type-3 메모리 확장기 (Memory Expander)를 구현하며, 표준 DDR4 RDIMM을 호스트 프로세서에 브릿지합니다. 각 ASIC은 두 개의 독립적인 72비트 DDR4 메모리 채널을 지원하며, 64GB DIMM을 사용하여 최대 256GB의 용량을 제공할 수 있습니다. 현재 Meta는 퇴역한 서버에서 회수한 32GB DDR4 모듈을 사용하여 ASIC당 128GB를 배치하고 있습니다.

(Image credit: Meta)

Meta는 MemServer 플랫폼에 Vistara를 배치하며, 여기서는 두 개의 ASIC이 PCIe 5.0 x8 링크를 통해 단일 158코어 AMD Turin 프로세서에 연결됩니다. 각 서버는 768GB의 DDR5-6400 로컬 메모리와 256GB의 CXL 연결 DDR4-2400을 결합하여 메모리 용량을 1TB로 확장합니다. 소프트웨어 스택은 CXL 메모리를 별도의 NUMA 노드로 투명하게 노출하며, Linux가 콜드 페이지(Cold Pages)를 더 느린 DDR4 계층(76GB/s 대역폭)으로 마이그레이션하고 자주 액세스하는 데이터는 로컬 DDR5(614GB/s 대역폭)에 유지할 수 있도록 합니다.

(Image credit: Meta)

이 ASIC은 보안 부팅 (secure boot), 장치 초기화 (device initialization), 펌웨어 관리 (firmware management) 및 상태 모니터링 (health monitoring)을 위해 3개의 RISC-V 프로세서 코어를 기반으로 합니다. Meta는 프로토콜 오버헤드 (protocol overhead)를 줄이고, 큐잉 지연 (queuing delays)을 최소화하며, 유휴 왕복 지연 시간 (idle round-trip latency)을 약 50ns로 낮추기 위해 CXL 컨트롤러와 메모리 파이프라인 (memory pipeline)을 최적화했다고 주장합니다. 또한 이 칩에는 Reed-Solomon 2심볼 오류 정정 (two-symbol error correction) 및 x4 칩킬 (chip-kill) 지원을 포함한 고급 신뢰성 기능이 통합되어 있습니다.

(Image credit: Meta)

Meta의 Vistara뿐만이 아니다

비용을 절감하기 위해 DDR5 메모리에 의존하는 최신 서버에 기존 DDR4 메모리를 연결하고자 하는 기업은 Meta뿐만이 아닙니다. Vistara는 Meta 전용으로 제공되지만, Panmnesia에서 개발한 새로운 CXL 확장기 (expander) 솔루션은 다른 기업들도 사용할 수 있을 예정입니다.

Panmnesia의 CEO인 정명수(Myoungsoo Jung)는 "CPU와 장치 사이에 스위치를 배치하면 이러한 시스템이 기대하는 메모리 액세스 지연 시간 (memory-access latency)을 충족하기 어렵다는 인식이 있어 왔으며, 이로 인해 확장성은 떨어지더라도 직접 연결된 멀티 헤디드 장치 (MHDs, multi-headed devices)가 표준으로 남아 있었습니다"라고 말했습니다. 이어 "우리의 연구는 이것이 CXL이나 CXL 스위치의 본질적인 한계가 아니라, 초기 단계 CXL의 특성일 뿐이며 표준과 관련 제품들이 성숙해짐에 따라 사라질 특성임을 보여줍니다. 우리의 차세대 CXL 컨트롤러를 탑재한 패브릭 스위치 (fabric switch)를 사용하면 확장성, 낮은 지연 시간, 그리고 안정적인 성능을 동시에 확보할 수 있습니다"라고 덧붙였습니다.

CXL은 PCIe 물리 인터페이스 (physical interface) 상단에 위치하는 프로토콜입니다. Panmnesia에 따르면, 이로 인해 초기 CXL 구현 사례 중 상당수는 기존 PCIe IP를 수정하여 구축되었으며, 이 때문에 이러한 구현체들은 메모리 시맨틱 통신 (memory-semantic communications)보다는 PCIe에 최적화된 아키텍처 특성을 물려받게 되었고, 결과적으로 상당한 지연 시간 (latency)을 초래했습니다. 이와 대조적으로, Panmnesia의 새로운 CXL 컨트롤러 IP는 계층별로 분리된 버퍼 (buffers)를 공유 버퍼 (shared buffers)로 대체하여 동기화 오버헤드 (synchronization overhead)를 대부분 제거하도록 재설계된 데이터 경로 (data path)를 특징으로 합니다. 또한, 프로토콜 스택 (protocol stack) 전반에 걸쳐 추가적인 지연 시간 최적화를 적용하여 스위치로 인해 발생하는 추가적인 홉 (hop)을 상쇄합니다.

함께 제공되는 CXL 패브릭 스위치 (fabric switch)는 포트 기반 라우팅 (Port-Based Routing, PBR)을 도입하여, PCIe 및 초기 CXL 구현에서 사용되던 기존의 계층 기반 라우팅 (Hierarchy-Based Routing, HBR)이 가진 트리 토폴로지 (tree-topology)의 한계를 제거합니다. 이 패브릭 스위치는 유연한 시스템 토폴로지, 최적화된 트래픽 라우팅, 그리고 안정적인 성능을 구현할 수 있도록 PBR과 HBR을 모두 지원합니다. 실제로 이를 통해 Meta와 같은 기업들은 높은 지연 시간으로 인한 심각한 성능 저하 없이 현대적인 서버에 더 많은 DDR4 메모리를 설치할 수 있습니다.

Panmnesia는 초기 CXL 배포 방식이 공유 메모리 풀 (shared memory pools)에 소수의 컴퓨팅 노드 (compute nodes)만을 연결할 수 있었던 반면, 자사의 패브릭은 최대 64개 노드까지 확장 가능하다고 주장합니다. 이는 수천 대의 서버를 운영하는 경향이 있으면서도 이제는 값비싼 DRAM 사용을 합리화해야 하는 하이퍼스케일러 (hyperscalers)들에게 더 큰 유연성을 의미합니다.

Panmnesia는 자사의 차세대 CXL 기술이 상용화를 향해 나아가고 있다고 밝혔습니다. 이 회사는 PCIe 6.4/CXL 3.2 퓨전 스위치 (Fusion Switch)를 위한 프리릴리스 실리콘 (pre-release silicon)을 보유하고 있으며, CXL 4.0 사양에서 도입된 최신 기능들을 지원하는 PCIe 7.0/CXL 4.0 콤보 IP (Combo IP) 개발을 완료했습니다.