칩렛과 광학 인터커넥트를 결합한 LLM 훈련 최적화 방법론 (ChipLight)

요약

대규모 분산 LLM(Large Language Model) 훈련에서 통신 병목 현상은 핵심 성능 저하 요인입니다. 본 논문은 칩렛(Chiplet) 기술과 광학 인터커넥트(Optical Interconnect, OI)를 결합하여 이 문제를 해결하는 'ChipLight'라는 다층적 최적화 방법론을 제시합니다. ChipLight는 칩렛 아키텍처 설계, 병렬 훈련 전략, 그리고 OI 네트워크 토폴로지를 동시에 공동 최적화(co-optimizing)함으로써, 미래의 대규모 AI 훈련 클러스터 개발에 필요한 효율성과 통찰력을 제공합니다.

핵심 포인트

• ChipLight는 칩렛 아키텍처, 훈련 병렬 전략, 광학 인터커넥트 네트워크 토폴로지를 동시에 최적화하는 다층적 방법론입니다.
• 본 연구는 블랙박스(black-box) 및 화이트박스(white-box) 기법을 결합하여 설계 공간 탐색 흐름(design space exploration flow)을 구축했습니다.
• ChipLight를 통해 훈련 클러스터의 효율성을 크게 향상시키고, 미래 AI 시스템 개발에 중요한 설계 통찰력을 제공합니다.