AI 클러스터의 요구 사항으로 인해 광 상호 연결 (optical interconnections)이 스케일아웃 (scale-out) 연결을 위한 실용적인 방안이 되었으나, 대역폭 요구 사항이 증가함에 따라 광 연결 (optical connectivity)은 스케일업 (scale-up) 연결에서도 실행 가능한 대안이 되고 있습니다. 그 결과, 업계는 광 인터페이스를 프런트 패널 트랜시버 (front-panel transceiver)에서 Co-Packaged Optics (CPO)를 통해 패키지 자체로, 그리고 궁극적으로는 프로세서 패키지 내부로 직접 이동시켜 CPU 및 GPU에 더 가깝게 배치하고 있습니다.

전기적 링크 (electrical links)가 높은 데이터 전송 속도로 장거리 데이터를 효율적이고 안정적으로 전송할 수 없기 때문에, 광 연결 (optical connectivity)은 수십 년 동안 사용되어 왔습니다. 그러나 광 부품의 비용과 복잡성으로 인해 그 용도는 장거리 연결 (long-reach connections)로 제한되었습니다.

CPO의 중요성이 높아지고 있는 이유는 전기적 상호 연결 (electrical interconnects)이 더 이상 AI 프로세서만큼 빠르게 확장되지 못하고 있으며, 데이터 센터 내의 수천 개 가속기에 데이터를 공급하기 위해서는 통신 대역폭의 기하급수적인 증가가 필요하기 때문입니다. 전통적인 광 네트워킹 아키텍처 (optical networking architecture)에서는 프로세서 또는 스위치 ASIC가 서버나 스위치의 프런트 패널에 위치한 플러거블 광 트랜시버 (pluggable optical transceiver)와 전기적으로 통신합니다. 그러나 신호 속도가 레인(lane)당 200 Gb/s - 400 Gb/s 이상으로 올라감에 따라, 메인보드의 긴 구리 PCB 트레이스 (copper PCB traces)를 통해 전기 신호를 전송하는 것은 더 높은 삽입 손실 (insertion loss), 더 큰 전력 소비, 그리고 더 엄격한 신호 무결성 (signal integrity) 요구 사항으로 인해 점점 더 비효율적이 되고 있습니다.

기술적으로는 가능하지만, 이는 더 나은 재료, 리타이머 (retimers), 복잡한 보상 처리 (compensation processing), 그리고 이퀄라이제이션 회로 (equalization circuitry)의 사용을 요구하며, 이는 서버 인프라의 비용과 전력 소비를 증가시킵니다. CPO는 신호가 빛으로 변환되기 전의 전기적 경로를 단축하기 위해 광 엔진 (optical engines)을 프로세서 또는 스위치 ASIC 옆으로 이동시키며, 이는 전송 비트당 더 낮은 전력 소비, 증가된 대역폭 밀도 (bandwidth density), 그리고 예측 가능한 확장성 (scalability)을 의미합니다. 결과적으로, CPO는 차세대 AI 인프라를 위한 필수 기술로 점점 더 간주되고 있습니다.

AI가 주요 메가트렌드로 간주됨에 따라, CPO는 어디에나 존재하게 될 것입니다. 파운드리 (foundries), OSAT, 광 I/O 스타트업, 레이저 제조업체, 광섬유 공급업체, 패키징 하우스 (packaging houses), 그리고 네트워킹 벤더를 포함하여 수십 개의 기업이 CPO 생태계에서 활동하고 있습니다.

서로 다른 전략으로 서로 다른 목표를 추구하는 수많은 벤더가 있기 때문에, 본 기사에서는 실제로 제품을 생산하고 그 로드맵이 기술적 역량을 반영하는 기업들로 범위를 제한하고자 합니다. 지금까지 의미 있는 CPO 제조 전략을 공개적으로 밝힌 파운드리는 Intel Foundry, GlobalFoundries, Samsung Foundry, 그리고 TSMC까지 단 네 곳뿐입니다.

이 네 회사는 각각 네 가지 서로 다른 CPO 전략을 대표하며 미래에 대한 매우 뚜렷한 계획을 가지고 있으므로, 이들의 계획과 역량은 직접적으로 비교하기 어려울 수 있습니다. 그럼에도 불구하고, 이들의 제공 사항을 검토하는 것은 실제 파운드리의 관점에서 산업이 어디로 향하고 있는지에 대한 아이디어를 제공합니다.

TSMC: 모든 것을 위한 COUPE

TSMC: 모든 것을 위한 COUPE

TSMC는 역사적으로 제품 공급업체로서 광 연결 (optical connectivity) 시장에 참여하지 않았습니다. 하지만 수년 동안 실리콘 포토닉스 (silicon photonics) 분야에서 작업해 온 결과, 이제는 Compact Universal Photonic Engine (COUPE)를 통해 가장 광범위한 생태계와 제조 로드맵을 보유하게 되었습니다.

TSMC

(이미지 출처: TSMC)

TSMC의 실리콘 포토닉스 기술 로드맵은 현재 기존의 플러거블 광학 장치 (pluggable optics)를 사용하는 1.6 Tbps 광 엔진부터 프로세서 패키지 내부에 위치한 12.8 Tbps 광 엔진에 이르기까지 세 단계를 아우르고 있습니다. COUPE 로드맵은 회사의 첨단 패키징 (advanced packaging) 기술 및 빛을 변조하여 성능에 직접적인 영향을 미치는 마이크로 링 변조기 (micro-ring modulators, MRMs)의 진화와 밀접하게 결합되어 있습니다. 그 결과, 여러 TSMC 고객사(예: Nvidia)들은 COUPE의 진화에 맞춰 자신들의 실리콘 포토닉스 전략을 수립하고 있습니다.

로드맵의 첫 번째 단계인 'PCB 상의 COUPE (COUPE on PCB)'는 회사의 SoIC-X 본딩 기술을 사용하여 65nm 전자 집적 회로 (EIC)를 광 집적 회로 (PIC)와 결합하는 COUPE에 의존합니다. 초기 구현은 OSFP (Octal Small Form-factor Pluggable) 광 모듈을 목표로 하며, 1.6 Tbps의 대역폭을 제공합니다 (구리 기반 Ethernet 솔루션보다 2배 높은 처리량과 2배 높은 전력 효율을 제공). 따라서 1세대 COUPE는 본 기사의 범위를 벗어납니다. TSMC는 SoIC-X 인터페이스가 매우 낮은 임피던스(impedance)를 특징으로 하며, 높은 신호 속도에서 더 낮은 전력 소비를 가능하게 한다고 밝히고 있습니다.

'기판 상의 COUPE (COUPE on substrate)'라고 불리는 두 번째 세대는 기존의 플러거블 광학 기술(pluggable optics)에서 공동 패키징 광학 기술 (CPO, Co-Packaged Optics)로 전환하는 TSMC의 전환점을 나타냅니다. 이 단계에서 COUPE는 회사의 chip-on-wafer-on-substrate (CoWoS) 첨단 패키징 기술과 통합되며 네트워크 스위치 ASIC과 공동 패키징됩니다. 이 아키텍처는 기존의 플러거블 솔루션과 비교하여 최대 6.4 Tbps의 총 대역폭, 2배의 전력 효율, 그리고 10배 낮은 지연 시간 (latency)을 갖는 메인보드 레벨의 광 상호 연결 (optical interconnects)을 가능하게 하며, 이는 NVLink, Ethernet, 및 InfiniBand 스위치와 같은 다양한 애플리케이션에 매우 유용합니다.

인터포저(interposer) 상의 COUPE라고 불리는 세 번째 단계는 실리콘 포토닉스 (silicon photonics)를 컴퓨팅 다이 (compute dies)에 더욱 밀착시킵니다. 12.8 Tbps 광 엔진 (optical engine)이 프로세서 패키지에 직접 통합되어 궁극의 대역폭 (bandwidth)과 확장성 (scalability)을 구현합니다. 대역폭을 다시 두 배로 늘리는 것을 넘어, 이 회사는 해당 아키텍처가 현재 사용되는 플러거블 (pluggable) 솔루션과 비교했을 때 5배의 전력 효율성 (power efficiency)과 20배 낮은 지연 시간 (latency)을 제공할 것으로 기대하고 있습니다. 이는 수천 개의 가속기 (accelerators)로 구성된 클러스터를 구축하는 하이퍼스케일러 (hyperscalers)들에게 특히 매력적일 것입니다. 불행히도, TSMC는 이 단계를 탐색적 (exploratory) 단계로 규정하고 있으며 상용화 일정은 공개하지 않았습니다.

<table><caption>TSMC COUPE의 MRM 진화</caption><tbody><tr><td class="firstcol "><p>연도 (Year)</p></td><td><p>2026</p></td><td><p>2028</p></td><td><p>2029</p></td><td><p>2030</p></td></tr><tr><td class="firstcol "><p>MRM / 레인 속도 (Lane Speed)</p></td><td><p>200 Gb/s</p></td><td><p>200 Gb/s</p></td><td><p>200 Gb/s</p></td><td><p>400 Gb/s</p></td></tr><tr><td class="firstcol "><p>대역폭 밀도 (Bandwidth Density)</p></td><td><p>0.5 Tbps/mm</p></td><td><p>1 Tbps/mm</p></td><td><p>2 Tbps/mm</p></td><td><p>4 Tbps/mm</p></td></tr><tr><td class="firstcol "><p>파장 (Wavelength)</p></td><td><p>단일 (Single)</p></td><td><p>단일 (Single)</p></td><td><p>다중 (Multi)</p></td><td><p>다중 (Multi)</p></td></tr><tr><td class="firstcol "><p>FAU</p></td><td><p>단일 행 (Single-row) FAU</p></td><td><p>이중 행 (Dual-row) FAU</p></td><td><p>이중 행 (Dual-row) FAU</p></td><td><p>이중 행 (Dual-row) FAU</p></td></tr></tbody></table>

COUPE의 주요 의제는 광학 엔진 (optical engine)을 연산 장치 (compute)에 최대한 가깝게 이동시키는 것입니다. 하지만 TSMC의 실리콘 포토닉스 (silicon photonics) 전략에는 또 다른 차원이 존재합니다. 바로 광학 소자 자체의 진화, 즉 PIC (photonic integrated circuit)에 통합된 MRM (micro-ring modulator)입니다. TSMC는 2026년에 세계 최초로 레인(lane)당 200 Gbps(파장) 마이크로 링 변조기 (MRM)를 양산할 계획이며, 이후 400 Gb/s MRM, 추가적인 광 파장, 그리고 더 조밀한 파이버 어레이 (fiber-array) 통합을 통해 기술 스케일업을 지속할 예정입니다. 이러한 진화는 COUPE의 대역폭 밀도 (bandwidth density)를 2026년 0.5 Tb/s/mm에서 2030년 4 Tb/s/mm로 증가시켜, 4년 동안 8배의 향상을 제공할 것으로 기대됩니다.

주목할 점은 TSMC가 MRM 로드맵을 COUPE 패키징의 진화와 별도로 제시했다는 것입니다. 이는 마이크로 링 변조기의 발전이 특정 패키징 세대에 종속되기보다는, 광 집적 회로 (PIC)를 위한 독립적인 기술 로드맵을 나타냄을 시사합니다. 이는 잠재적으로 미래의 COUPE 제품이 광학 엔진이 PCB, 패키지 기판 (package substrate), 또는 실리콘 인터포저 (silicon interposer) 중 어디에 장착되느냐에 관계없이 더 최신 세대의 MRM을 채택할 수 있음을 의미합니다. 다만, 실리콘 인터포저 방식이 연산 다이 (compute dies)와 광학 인터페이스 사이의 전기적 거리를 최소화함으로써 시스템 수준에서 가장 큰 이점을 제공할 가능성이 높습니다.

Intel: CPU, GPU, DPU 및 가속기를 위한 광학 기술

Intel은 수십 년 동안 광학 상호 연결 (optical interconnection)을 갖춘 다양한 제품을 출하해 왔으며, 심지어 2010년대 중반에는 Xeon 및 Xeon Phi 프로세서에 자사의 실리콘 포토닉스 솔루션을 부착하기도 했습니다. 오늘날 Intel의 공개된 CPO 로드맵은 TSMC만큼 명시적이지는 않지만, 그 방향은 상당히 명확합니다. 즉, 광학 I/O를 CPU, GPU, 가속기, 그리고 궁극적으로는 다른 연산 칩렛 (compute chiplets) 바로 옆으로 이동시키는 것입니다. 한편, 현재까지 Intel은 자사의 CPO 기술을 스위치 (switches)에 사용할 계획은 공개하지 않았습니다.

Intel OCI

(이미지 출처: Intel)

Intel의 CPO 전략은 주로 자사의 Optical Compute Interconnect (OCI) chiplet에 집중되어 있습니다. 이는 EIC(Electronic Integrated Circuit)와 PIC(Photonic Integrated Circuit)를 모두 포함하는 독립적인 광 I/O (optical I/O) 서브시스템으로, PCIe 인터페이스를 사용하여 어떤 컴퓨팅 장치와도 Co-packaged (공동 패키징)될 수 있어 고성능 광 연결 (optical connectivity)을 가능하게 합니다. Intel은 2024년에 최초의 OCI를 시연했습니다. 해당 프로토타입 구현체는 호스트와의 연결을 위해 양방향 각각 32 GT/s 속도의 64개 PCIe 5.0 레인 (lanes)을 사용했으며, 최대 100미터 거리에서 8개의 광섬유 쌍 (fiber pairs)을 통해 4 Tbps의 양방향 광 대역폭 (optical bandwidth)을 제공했습니다. 각 광섬유는 200 GHz 간격의 8개 DWDM 파장 (wavelengths)을 전달했으며, 각 파장(레인)은 약 32 Gbps를 전송했습니다 (8 FPs × 8 WLs × 32 Gbps = 양방향 각각 2,048 Gbps).

Intel

(이미지 출처: Intel)

2024년 OCI 구현체는 기술 테스트에는 적합하지만, 32 Gbps 레인이라는 다소 느린 속도로 인해 상업적으로 채택되지는 않았습니다. 한편, 이 기술은 이미 검증 및 시연되었습니다. Intel은 현재 800 Gbps 및 1.6 Tbps 애플리케이션을 지원하기 위해 레인당 200G PIC를 사용하는 차세대 OCI를 개발 중입니다. 다만, Intel이 TSMC의 MRM 로드맵에 상응하는 정보를 아직 공개하지 않았기 때문에, 이것이 언제 출시될지는 불분명합니다.

초당 수십 테라비트 (terabits per second)의 대역폭을 지원하는 향후 OCI 구현 방식은, 상용 제품으로 통합될 때 차세대 PCIe 6.0 인터페이스 또는 심지어 네이티브 다이 간(die-to-die) UCIe 링크를 사용하여 컴퓨팅 다이 (compute dies)와 인터페이스할 수 있다는 점에 주목해야 합니다. 또한, Intel은 고성능과 저전력을 보장하기 위해 자사의 첨단 패키징 (advanced packaging) 기술을 사용하여 OCI 칩렛 (chiplets)을 자연스럽게 통합할 수 있습니다.

Intel

(이미지 출처: Intel)