ZipCCL: LLM 학습을 위한 통신 콜렉티브의 효율적인 무손실 데이터 압축

요약

대규모 언어 모델(LLM)의 분산 학습에서 통신 오버헤드는 주요 병목 현상입니다. 본 논문은 LLM의 활성화, 기울기 및 파라미터가 가우시안 분포를 따른다는 점에 착안하여, 무손실 압축 라이브러리인 ZipCCL을 제안합니다. ZipCCL은 지수 코딩, GPU 최적화 커널, 적응형 통신 전략 등 혁신적인 기술을 결합하여, 모델 품질 저하 없이 엔드투엔드 학습 속도를 크게 향상시킵니다.

핵심 포인트

• LLM 분산 학습의 주요 병목 현상은 통신 오버헤드이다.
• ZipCCL은 LLM 데이터가 가우시안 분포를 따른다는 특성을 활용하여 무손실 압축을 수행한다.
• 핵심 기술로는 지수 코딩, GPU 최적화 커널, 그리고 워크로드에 따라 동적으로 전환하는 적응형 통신 전략이 포함된다.
• 64-GPU 클러스터 테스트 결과, ZipCCL은 통신 시간을 최대 1.35배 줄이고 학습 속도를 최대 1.18배 향상시켰다.