칩렛과 광학 인터커넥트를 결합한 LLM 훈련 최적화 방법론 (ChipLight)

대규모 분산 환경에서 LLM(Large Language Model)을 훈련할 때, 장치 간의 데이터 통신은 가장 큰 성능 병목 지점입니다. 이러한 문제를 해결하기 위해 두 가지 핵심 기술이 주목받고 있습니다.

첫째, 칩렛(Chiplet) 기술은 여러 개의 다이(die)를 하나의 패키지 내에 통합하여 노드 성능을 확장하고 높은 대역폭을 확보할 수 있게 합니다. 둘째, 광학 인터커넥트(Optical Interconnect, OI) 기술은 장거리 전송과 고대역폭 링크를 제공하므로, 광범위한 스케일 아웃(scale-out) 네트워크에 매우 적합합니다.

본 논문에서 제안하는 ChipLight는 이 두 가지 첨단 기술을 결합하여 훈련 클러스터의 성능을 극대화하기 위한 다층적(cross-layer) 다중 목표 설계 및 최적화 방법론입니다. ChipLight의 핵심은 단순히 하드웨어 부품들을 연결하는 것을 넘어, 시스템 전체를 아우르는 공동 최적화에 있습니다.

연구진은 다음과 같은 세 가지 요소를 동시에 고려하여 복잡한 클러스터 아키텍처 모델을 추상화합니다:

1. 칩렛 아키텍처(Chiplet Architecture): 물리적인 하드웨어 구성 요소의 설계입니다.
2. 훈련 병렬 전략(Training Parallel Strategy): 데이터를 어떻게 분산하고 처리할지 결정하는 소프트웨어/알고리즘적 측면입니다.
3. OI 네트워크 토폴로지(OI Network Topology): 칩렛 간, 패키지 간의 광학 연결 구조 설계입니다.

이러한 복합적인 모델을 바탕으로, ChipLight는 최첨단 설계 공간 탐색 흐름(design space exploration flow)을 구축했습니다. 이 과정에서 기존 방식의 한계를 극복하기 위해 블랙박스(black-box) 방법론과 화이트박스(white-box) 방법론을 결합하는 하이브리드 접근 방식을 채택했습니다.

실험 결과에 따르면, ChipLight는 훈련 효율성을 현저하게 개선할 뿐만 아니라, 미래의 AI 훈련 클러스터 개발 방향에 대한 귀중한 설계 통찰력(design insights)을 제공함을 입증했습니다. 이는 차세대 고성능 컴퓨팅(HPC) 시스템 구축에 중요한 이정표가 될 것입니다.