Piper: 리소스 모델링과 파이프라인 하이브리드 병렬화를 통한 효율적인 대규모 MoE 훈련

요약

본 기술 기사는 MoE(Mixture-of-Experts) 모델을 HPC 환경에서 효율적으로 훈련시키는 데 발생하는 메모리, 통신, 작업 불균형 등의 문제를 다룹니다. 이를 해결하기 위해 'Piper'라는 프레임워크를 제안합니다. Piper는 리소스 모델링을 활용하여 목표 플랫폼에 최적화된 훈련 전략을 식별하고, 파이프라인 병렬화를 적용함으로써 기존 대비 월등히 높은 MFU(Model Flops Utilization)와 대역폭 향상을 달성하는 것을 목표로 합니다.

핵심 포인트

• MoE 모델 훈련의 주요 난제: 큰 메모리 발자국, 이종 네트워크 통신 오버헤드, 작업 불균형 등
• 문제 해결을 위해 MoE 구성의 리소스 요구 사항을 정량화하는 수학적 모델 개발 및 검증.
• Piper 프레임워크는 리소스 모델링 기반으로 최적의 훈련 전략과 파이프라인 병렬화를 제공하여 효율성을 극대화함.
• 기존 대비 2-3.5배 높은 MFU와 새로운 all-to-all 알고리즘을 통한 대역폭 향상(1.2-9배)을 입증함.