희소 혼합 전문가 모델의 Top-k 노출 경계 평활화

요약

본 논문은 희소 혼합 전문가(Sparse Mixture-of-Experts) 모델의 한계로 지적된, top-$k$ 전문가 선택의 경직성을 개선하는 '탄성 전문가 라우팅(Elastic Expert Routing)'을 제안합니다. 이 방법은 활성 전문가 예산을 확률적으로 샘플링하여 날카로운 임계값을 점진적인 분포로 부드럽게 만듭니다. 실험 결과, 지도 미세 조정 및 사전 훈련 모두에서 기존 모델 대비 높은 성능 향상을 입증했습니다.

핵심 포인트

• 탄성 전문가 라우팅(Elastic Expert Routing)을 제안하여 MoE의 경직성을 해결함.
• 활성 전문가 예산을 확률적으로 샘플링하여 임계값을 부드럽게 만듦.
• 지도 미세 조정 및 사전 훈련 모두에서 성능 향상을 입증함.
• 결정론적 훈련 비용과 추론 예산 보존이 가능함.