AI 하드웨어는 수년 동안 꽤 단순한 게임이었습니다. 누구의 GPU가 가장 많은 FLOPS(초당 부동 소수점 연산)를 가졌는가, 가장 많은 메모리를 가졌는가, 혹은 가장 빠른 클록(Clock)을 가졌는가 하는 문제였습니다. 하지만 하이퍼스케일러(Hyperscalers)들이 동일한 규모의 시설에서 더 많은 성능을 원함에 따라, 칩 사이의 패브릭(Fabric)을 누가 제어하느냐가 자주 제기되는 또 다른 질문이 되고 있습니다. 이는 상당 부분, AI 하드웨어가 수십 년 동안 유지되어 온 무어의 법칙(Moore’s law) 원칙을 따를 것인지, 아니면 새로운 패러다임으로 돌파할 것인지를 결정할 수 있기 때문입니다.

"무어의 법칙은 완전히 끝났습니다. 말 그대로 완전히 타버렸어요(toast)."라고 광학(Photonics) 기업인 Lightmatter의 최고 경영자(CEO) 닉 해리스(Nick Harris)가 _Tom's Hardware Premium_과의 인터뷰에서 말했습니다. 프로세서를 더 빠르게 만드는 방법은 과거에 더 많은 실리콘을 채워 넣는 것이었지만, 단일 칩이 커질 수 있는 데에는 물리적 한계가 있습니다. 따라서 이제 성능은 수십 개, 수백 개의 칩을 함께 네트워킹하는 것에 달려 있습니다. "궁극적으로 네트워킹이 컴퓨팅의 미래입니다."라고 해리스는 말했습니다. "이러한 AI 시스템의 성능은 낮은 지연 시간(Low latency)과 매우, 매우 높은 대역폭(Bandwidth)을 달성하는 능력에 의해 완전히 제약받고 병목 현상(Bottleneck)을 겪고 있습니다."

이 모든 것은 스케일업(Scale-up)과 스케일아웃(Scale-out)의 문제입니다. 스케일업(Scale-up)은 단일 서버, 랙(Rack), 또는 포드(Pod) 내부의 초저지연 상호 연결(Ultra-low-latency interconnect)로, 수많은 가속기(Accelerator)가 마치 하나의 거대한 기계처럼 동작하게 만듭니다. 스케일아웃(Scale-out)은 이러한 기계들을 클러스터(Cluster)로 결합하는 더 넓은 범위의 네트워크입니다. 그리고 전체 데이터 센터를 서로 연결하는 스케일어크로스(Scale-across)라고 불리는 세 번째 요소도 존재합니다. University College London의 광학 통신 및 네트워크 교수인 Polina Bayvel이 우리에게 말했듯이, 하이퍼스케일러(Hyperscalers)들은 "더 많이 투입할수록 더 나은 결과가 나온다는 약물에 취해 있는 상태"이며, 이제는 외부로 확장하기 전에 72개에서 144개의 GPU가 단일 스케일업 랙(Scale-up rack)에 들어갑니다.

구리(Copper)는 수년 동안 랙 내부에서 충분한 역할을 해왔으나, 이제 한계에 부딪혔으며 공급 부족 현상도 나타나고 있습니다. Harris는 "당신의 팔 길이와 나의 팔 길이는 약 2미터 정도인데, 구리 케이블은 그보다 약간 더 짧습니다"라며, "우리는 이미 한계에 도달했습니다"라고 설명했습니다. 따라서 광학 상호 연결(Optical interconnects)의 중요성이 커지고 있으며, 랙 간(Rack-to-rack) 케이블링에서 가속기 패키지(Accelerator package) 자체로 이동하고 있습니다. 이달 초, Elon Musk는 TeraFab 및 SpaceX의 지속적인 AI 야망의 일환으로 Mesh Optical을 인수하기 위한 움직임을 보였습니다.

칩을 향해 빛을 이동시키기

Nvidia

Nvidia Spectrum-X의 공동 패키징 광학(Co-packaged optics) 사례. (이미지 출처: Nvidia)

오늘날 광학 신호는 대개 스위치에서 약 18인치 떨어진 곳에 위치하는 표준 모듈인 플러그형 트랜시버(pluggable transceivers)를 통해 전달됩니다. 다음 단계는 근접 패키지 광학(near-package optics)으로, 이를 통해 거리를 약 6인치까지 줄일 수 있습니다. 그 다음은 공동 패키징 광학(co-packaged optics, CPO)으로, 광학 칩렛(optical chiplets)이 GPU나 스위치 주변에 위치하게 됩니다. 가장 야심 찬 버전은 칩 자체 아래의 인터포저(interposer) 위에 광학 기술을 배치하는 것입니다. Harris는 "단계가 진행됨에 따라, 각 도약을 거칠 때마다 속도는 높이고 에너지 소비는 줄이게 됩니다"라고 말했습니다.

현재 업계의 관심은 정말 급진적인 단계 이전의 단계에 쏠려 있습니다. Harris는 "2027년과 2028년은 근접 패키지 광학(near-package optics)에 있어 매우, 매우 중요한 해가 될 것입니다"라고 말했습니다. 그는 이를 테스트 베드(test bed)라고 설명합니다. 즉, 광학 트랜시버가 근처에 볼트로 고정된 별도의 구성 요소가 아니라, 가속기나 스위치의 일부로서 실질적으로 출하되기 전의 마지막 단계라는 것입니다.

Lightmatter는 이미 TSMC와 GlobalFoundries에서 2028년에 출하될 예정인 CPO 부품을 제작하고 있습니다. 동시에, 더 통합된 인터포저(interposer) 방식에 대해서도 고객들과 협력하고 있습니다. 이는 Harris의 표현을 빌리자면 "시장에서 우위를 점하고 싶어 한다는 것을 깨달은" 기업들을 위한 방식입니다.

그 이유는 전력 때문입니다. Bayvel은 데이터 센터 에너지의 약 20%가 네트워킹, 즉 랙(rack), 실(room), 데이터 센터 전반에 걸쳐 GPU와 CPU를 연결하는 작업에 사용된다고 말합니다. 나머지 80%는 GPU 자체에서 소비됩니다. 하지만 그녀는 절약된 에너지가 어떻게 쓰일지에 대해 냉철한 시각을 가지고 있습니다. 그녀는 "광학 기술을 통해 절약한 에너지가 세상을 구하는 데 쓰이지는 않을 것입니다"라며, "그 에너지는 또 다른 1,000개의 GPU를 더 집어넣는 데 사용될 것입니다"라고 말했습니다.

표준 전쟁

Nvidia Hot Chips 2024

(이미지 출처: Nvidia)

Nvidia는 스케일업 (scale-up)을 위한 NVLink 및 NVSwitch부터 스케일아웃 (scale-out)을 위한 Spectrum-X Ethernet 및 InfiniBand에 이르기까지 두 영역 모두를 아우르는 수직 계열화된 해답을 보유하고 있습니다. AMD, Broadcom, Cisco, Arista, Marvell, Meta, Microsoft 및 OpenAI를 포함한 업계의 나머지 기업들은 UALink, Ultra Ethernet 및 새로운 광학 규격을 통해 이를 개방하려고 시도하고 있습니다.

표준 전쟁 (standards war)이 격화되고 있다는 느낌은 점점 분명해지고 있습니다. Computex에서 AMD는 Nvidia의 Vera Rubin NVL72에 필적하기 위해 설계된 72-GPU 랙인 Helios MI455X 플랫폼을 선보였습니다. 하지만 이 플랫폼의 스케일업 패브릭 (scale-up fabric)은 네이티브 (native) UALink 대신 UALink-over-Ethernet을 실행합니다. 이는 Astera Labs 및 Marvell과 같은 파트너사의 전용 UALink 스위칭 실리콘 (switching silicon)이 제때 준비되지 않았다는 사실로 인해 강제된 임시방편입니다. 엔지니어링 샘플은 2026년 하반기에 출시될 예정이며, 대량 생산은 2027년 2분기로 밀려난 반면, AMD의 차세대 MI500 시리즈 랙은 곧 뒤따를 것으로 예상됩니다.

Bayvel은 더 넓은 범위의 경쟁은 CPO (Co-Packaged Optics)와 선형 구동 플러거블 광학 기술 (LPO, Linear-drive Pluggable Optics) 사이의 대결이라고 말합니다. CPO는 레이저와 광학 기술을 프로세싱과 함께 통합하며 아마도 전력 효율이 더 높겠지만, "아마도 신뢰성은 더 낮을 것입니다. 레이저가 고장 나면 보드 전체를 교체해야 하기 때문입니다." LPO는 기존의 플러거블 슬롯을 유지하며 유지보수가 더 용이합니다. 그녀는 "어느 쪽이 승리할지에 자신의 집을 걸 만큼 용감한 사람이 나타날 것입니다"라고 말했습니다. 그녀는 두 기술이 용도에 따라 나뉘어 공존할 것이며, 대략 60 대 40 정도로 CPO 쪽으로 기울 것이라고 추측합니다.

레이저 병목 현상

문제는 실리콘이 이 산업이 점점 더 필요로 하는 단 한 가지, 즉 '빛을 내는 것'을 제외한 거의 모든 것을 할 수 있다는 점입니다.

실리콘은 저렴하고 풍부하며 전자 공학 분야에서 매우 뛰어납니다. 이것이 현대 칩 산업이 존재하는 이유입니다. 하지만 빛을 방출하는 데 있어서는 최악입니다. 사우샘프턴 대학교(University of Southampton)의 실리콘 포토닉스 (Silicon Photonics) 교수인 Frederic Gardes는 _Tom’s Hardware Premium_과의 인터뷰에서 "실리콘은 빛을 전혀 내지 못합니다. 그것이 큰 문제입니다"라고 말했습니다.

수십 년 동안 업계는 빛을 생성하는 데 훨씬 뛰어난 인듐 인화물 (Indium Phosphide)이나 갈륨 비소 (Gallium Arsenide)와 같은 이른바 III-V 재료를 사용하여 이 문제를 우회해 왔습니다. 하지만 그 해결책은 자체적인 문제를 야기합니다. 이러한 재료들은 훨씬 더 타이트하고 지정학적으로 노출된 공급망에 놓여 있으며, 중국이 공급량의 약 80%를 통제하고 있습니다. Gardes는 레이저를 실리콘에 통합하는 것이 현재 이 분야가 해결해야 할 "핵심 문제 중 하나"라고 말했습니다.

하지만 그곳이 바로 돈이 몰리는 곳이기도 합니다. Harris는 "이 산업의 매출 기회 중 절반은 레이저에서 나옵니다"라고 말했습니다. "그것은 말 그대로 전원 공급 장치 같은 것이지만, 알고 보니 매출 기회의 절반을 차지합니다." 아이러니하게도 모두가 가장 필요로 하는 부분이 가장 취약할 수 있는 부분이라는 점입니다. Gardes는 레이저를 "가장 약한 고리"라고 부릅니다.

그러한 취약점은 이미 공급망에서 나타나고 있습니다. 레이저 제조업체인 Lumentum과 Coherent는 이미 수년 치의 주문이 예약되어 있습니다. 그리고 업계는 표준화를 시작하고 있습니다. 지난 3월, AMD, Broadcom, Meta, Microsoft, Nvidia, 그리고 OpenAI는 Optical Compute Interconnect (OCI) Multi-Source Agreement를 설립했습니다. 이는 스케일업 (scale-up)을 위한 공통 광학 물리 계층 (optical physical layer)을 정의하기 위한 하이퍼스케일러 (hyperscaler) 주도의 노력으로, 방향당 200Gbps에서 시작하여 광섬유당 3.2Tbps까지 확장 가능하며 NVLink와 UALink를 모두 전송할 수 있도록 설계되었습니다.

어떤 경로가 승리하든, Bayvel은 업계가 데이터 센터에만 집착하는 사이 육지, 바다, 그리고 우주를 가로질러 이 모든 AI 생성 트래픽을 운반해야 하는 네트워크를 소홀히 하고 있다고 우려합니다. 그녀는 "정말로 아무도 그 부분을 보고 있지 않습니다"라며, "그것이 향후 큰 문제가 될 것이라고 생각합니다"라고 말했습니다.