Marvell building

AI 데이터 센터에 대한 수요가 급증함에 따라 하이퍼스케일러(Hyperscalers)들이 확장에 박차를 가하고 있는 가운데, Marvell은 지난주 이론적으로 수천 킬로미터 떨어진 개별 데이터 센터 간의 리소스를 풀링(pool)할 수 있는 광학 인터커넥트(Optical interconnect) 솔루션에 대한 비전을 공유했습니다.

Computex 2026에서 발표한 Marvell의 CEO Matt Murphy에 따르면, 광학 인터커넥트(Optical interconnections)는 단거리 및 장거리 연결 모두에서 산업 전반에 걸쳐 꾸준히 배치되고 있으며, 앞으로 훨씬 더 많이 보게 될 것이라고 합니다.

Murphy는 "미래의 데이터 센터, 즉 전 세계적으로 광학적으로 상호 연결된 데이터 인프라를 상상해 보십시오."라고 말했습니다. "오늘날 우리가 가진 이러한 경직된 경계와 시스템들은 사라지기 시작할 것입니다. 이제 컴퓨팅(Compute)을 풀링할 수 있고, 메모리(Memory)를 풀링할 수 있으며, 인프라를 대규모로 동적으로 구성(composed)할 수 있습니다."

거리에 의한 제약

Murphy는 워크로드(Workloads)가 더 이상 하나의 데이터 센터 내에 적합하지 않다고 말합니다. 클러스터(Clusters)가 단일 데이터 센터보다 커짐에 따라, 하이퍼스케일 클라우드 서비스 제공업체(CSPs)가 고속 링크로 연결된 여러 데이터 센터로 구성된 전체 캠퍼스를 구축해야 할 필요성이 점점 커지고 있는 이유입니다.

오늘날 단일 캠퍼스 내에서 여러 데이터 센터를 연결하는 것은 쉽거나 저렴하지는 않지만 비교적 간단합니다. 그러나 Marvell은 미래에 서로 상당한 거리에 위치한 데이터 센터들을 연결해야 할 것이라고 전망합니다.

이것이 바로 Marvell이 수천 킬로미터 떨어진 데이터 센터를 연결할 광학 네트워킹 기술 전반에 걸쳐 코히어런트 광학(Coherent optics) 및 롱홀(Long-haul) 스케일에 집중하고 있는 이유입니다. Marvell은 이미 이러한 연결성을 가능하게 하는 제품들을 보유하고 있으며, 여기에는 데이터 센터 간 연결을 목표로 하며 올해 말 샘플링 예정인 2nm DSP 기반의 Colorz 1600 1.6 Tb/s 코히어런트 광학(Coherent optical) 솔루션이 포함됩니다.

또한, Marvell은 데이터 센터를 위한 Ara 1.6 Tb/s 인터커넥트 솔루션 제품군(3nm DSP 탑재)과 더불어, 200 Gb/s로 작동하는 512개 포트 또는 1.6 Tb/s로 작동하는 64개 포트를 지원하는 Teralynx T100 102.4 Tb/s 이더넷 (Ethernet) 스위치를 제공할 것이라고 밝혔습니다.

Murphy는 오늘날의 아키텍처가 구리 인터커넥트 (copper interconnects)로 인해 거리의 제약을 받고 있다고 주장합니다. 지연 시간 (latency)이 중요하기 때문에 CPU는 메모리 근처에 위치해야 하며, 대역폭 (bandwidth)이 중요하기 때문에 GPU는 메모리 근처에 위치해야 합니다. 그 결과, 워크로드 (workloads)는 이러한 물리적 한계에 따라 분할되어야만 합니다. Marvell의 수장은 광학 인터커넥트 (optical interconnects)가 스케일업 (scale-up) 인터커넥트에 침투하게 되면, 스케일업 도메인은 더 이상 구리 케이블 길이에 제한되지 않을 것이며, 그러한 제약들이 사라지기 시작할 것이라고 주장합니다.

현재 Nvidia의 NVL72와 같은 스케일업 (scale-up) AI 솔루션들은 구리 와이어를 사용하여 연결되지만, 스케일아웃 (scale-out) 연결은 광학 인터커넥트 (optical interconnects)를 사용하는 경향이 있습니다. Marvell에 따르면, 스케일업 시스템 내의 AI 가속기 (AI accelerators) 수가 증가함에 따라 이들 또한 광학 링크 (optical links)로 전환해야 할 것입니다. 이는 사실상 모든 데이터 센터급 인터커넥트 (interconnections)가 광학 방식이 될 것임을 의미하며, 이는 하드웨어 개발자들이 데이터 센터의 아키텍처를 재고하도록 영감을 줄 수 있습니다.

리소스 풀링 (Pooling resources)

Murphy는 상당히 흥미로운 비전을 제시했습니다. 첫째로, 광학 기술은 스케일업 (scale-up) 도메인을 72개 또는 144개의 가속기에서 1,000개 이상으로 확장할 것입니다. 하지만 그 이후에는 광학 연결성이 서버 자체 내부로 진입하게 될 것입니다. 이를 통해 개발자들은 CPU, 가속기 (Marvell은 이를 XPU라고 부릅니다), 그리고 메모리를 별도의 풀 (pools)로 분리(disaggregate)할 수 있게 됩니다. 거리가 더 이상 문제가 되지 않으므로 더 나은 구성 가능성과 활용도를 구현할 수 있기 때문입니다.

Marvell의 수장은 "이는 거리가 없는 데이터 센터로, 컴퓨팅 (compute), 메모리 (memory), 네트워킹 (networking), 그리고 포토닉스 (photonics)가 하나의 통합된 시스템으로서 작동하며, 데이터 센터 전반에 걸친 수백만 개의 리소스가 마치 하나의 기계처럼 함께 작동하는 곳입니다"라고 말했습니다.

하이퍼스케일러(Hyperscalers)가 수십억 달러 가치의 하드웨어를 배치한다는 점을 고려하면, 단 10%의 활용도(utilization) 향상만으로도 막대한 비용을 절감할 수 있으며, Nvidia와 같은 기업들이 분명히 이에 주목하고 있습니다.

"오늘날의 시스템에서는 CPU와 XPU 또는 GPU의 비율이 고정되어 있어, 시스템이 구축되고 배치되는 시점에 이러한 비율이 정의되어야 합니다. 하지만 두 개의 워크로드(workload)가 정확히 동일한 비율을 요구하는 경우는 없습니다"라고 Murphy는 강조했습니다. "XPU는 한 시스템에, 메모리는 다른 시스템에, 범용 CPU는 또 다른 시스템에 있는 완전히 분리된(disaggregated) 아키텍처를 상상해 보십시오."

오늘날 기업들은 NVL72와 같은 시스템을 구매하여 CPU, GPU, 메모리의 고정된 비율을 할당받으며, 이는 특정 워크로드에는 효율적일 수 있지만 다른 워크로드에는 비효율적일 수 있습니다. 미래에는 운영자가 공유된 시스템 풀(pool)로부터 가상 머신을 조립할 수 있게 되어, 워크로드의 유형에 따라 맞춤화와 유연성을 확보할 수 있게 될 것입니다. 만약 워크로드에 연산(compute)보다 더 많은 메모리가 필요하다면, 운영자들은 추가적인 HBM을 얻기 위해 단순히 GPU를 더 구매해야 하는 경우가 많지만, Marvell의 비전이 실현된다면 미래에는 메모리만 가져올 수 있을지도 모릅니다.

"시스템을 연산, 메모리의 별도 풀로 분해하고 이들을 모두 광학적으로 상호 연결(optically interconnected)하게 되면, 워크로드가 있는 곳 어디에서든 최적화된 전용 시스템을 즉석에서 구성(compose)할 수 있습니다"라고 Murphy는 말했습니다. "사상 처음으로 아키텍트들은 인터커넥트(interconnect)의 한계가 아니라 모델의 요구 사항을 중심으로 AI 시스템을 설계하기 시작할 수 있습니다."

한 가지 세부 사항

Marvell은 수천 킬로미터에 걸쳐 데이터 센터를 상호 연결할 수 있는 노하우와 풀링된(pooled) 데이터 센터를 가능하게 하는 기술을 보유하고 있지만, 이러한 비전들이 반드시 교차하는 것은 아닙니다. 수천 킬로미터 떨어진 곳에 위치한 데이터 센터는 리소스를 공유할 수 없습니다. 1,000km의 왕복 거리 동안 빛은 10ms가 소요되며, 이는 지연 시간(latency) 관점에서 볼 때 그러한 장거리 리소스 공유를 비효율적으로 만들기 때문입니다.

하지만 Marvell의 기술은 하이퍼스케일 (Hyperscale) CSP가 AI 캠퍼스를 동기화하고, 분산 스토리지 (distributed storage)에 액세스하며, 데이터를 복제하고, 지연 시간 (latency)에 의존하지 않는 기타 작업들을 수행할 수 있도록 지원합니다. 한편, 서로 다른 대륙에 있는 AI 캠퍼스들을 단 몇 시간 만에 동기화할 수 있다는 점은 하이퍼스케일러 (hyperscalers)들에게 킬러 앱 (killer app)이 될 수 있습니다.

Anton Shilov는 Tom’s Hardware의 기고가입니다. 지난 수십 년 동안 그는 CPU와 GPU부터 슈퍼컴퓨터, 그리고 현대적인 공정 기술 (process technologies)과 최신 팹 도구 (fab tools)에서 첨단 기술 산업 트렌드에 이르기까지 모든 분야을 다뤄왔습니다.