Expert 활성화 패턴을 활용한 다중 노드 Mixture-of-Experts 추론 확장

요약

본 논문은 Mixture-of-Experts (MoE) 아키텍처를 사용하는 대규모 언어 모델(LLMs)의 추론 과정에서 발생하는 병목 현상을 다룹니다. 특히, 여러 노드에 분산된 환경에서 발생하는 비효율적인 토큰 라우팅과 높은 all-to-all 통신 오버헤드를 해결하는 데 초점을 맞춥니다. 연구진은 실제 MoE 모델들의 전문가 활성화 패턴을 분석하여, 부하 불균형 및 도메인별 전문가 선호도 등의 공통 특성을 발견했으며, 이를 바탕으로 워크로드 인식 마이크로 배치 그룹화와 전문가 배치 전략을 제안했습니다. 이 최적화 기법은 노드 간 통신 데이터를 최대 20%까지 줄여 MoE 디코드 지연 시간을 개선하고 가속기 활용도를 높이는 효과를 입증했습니다.

핵심 포인트

• MoE LLM의 대규모 추론은 전문가 부하 불균형과 비효율적인 토큰 라우팅으로 인해 병목 현상이 발생한다.
• 실제 MoE 모델들의 분석 결과, 모든 최첨단 모델에서 가변적 부하 불균형 및 작업 유형별(도메인별) 전문가 활성화 패턴이 관찰되었다.
• 연구진은 '워크로드 인식 마이크로 배치 그룹화'와 '전문가 배치 전략'을 제안하여 토큰 로컬리티를 극대화하는 방법을 제시했다.
• 제안된 최적화 기법은 all-to-all 통신 데이터를 최대 20%까지 감소시켜 MoE 디코드 지연 시간을 줄이고 가속기 활용도를 향상시킨다.