MoE 모델은 각 토큰을 소수의 전문가(expert)에게 희소하게 라우팅합니다. 이러한 모델이 커지면서...

요약

MoE 모델에서 토큰을 전문가에게 라우팅하는 과정은 데이터 교환으로 인해 전체 실행 시간을 지배할 수 있습니다. 본 연구는 자주 함께 사용되는 전문가들을 동일 GPU에 배치하는 '상관관계 전문가 배치(correlated expert placement)'를 제안했습니다. 이를 통해 8개 GPU 환경에서 최대 58%의 토큰 복사본 전송량을 줄여 모델 효율성을 높였습니다.

핵심 포인트

• MoE 모델은 라우팅 과정에서의 데이터 교환 비용이 주요 병목 지점입니다.
• '상관관계 전문가 배치'는 함께 사용되는 전문가를 같은 GPU에 모아 통신을 최적화합니다.
• 해당 기법 적용 시 8개 GPU 환경에서 토큰 전송량을 최대 58%까지 줄일 수 있습니다.
• 라우팅 패턴은 예측 가능하며, 이는 학습 단계에서도 유효함을 입증했습니다.