다양체 전력 반복을 이용한 Mixture-of-Experts 라우터 재설계

요약

본 논문은 Mixture-of-Experts (MoE) 모델의 핵심 구성 요소인 라우터(Router)를 재설계하는 방법을 제안합니다. 기존 방식의 한계를 극복하기 위해, 각 라우터 행을 해당 전문가의 주 성분 방향과 정렬시키는 것이 목표입니다. 이를 위해 Manifold Power Iteration (MPI)이라는 새로운 패러다임을 도입하여 MoE 모델의 성능 향상을 입증했습니다.

핵심 포인트

• MoE 모델에서 라우터는 어떤 전문가를 활성화할지 결정하는 핵심 요소이다.
• 라우터 행을 전문가의 주 성분 방향과 정렬시키는 것이 목표다.
• Manifold Power Iteration (MPI)은 전력 반복 후 노름 제약 수축 과정을 거친다.
• 이 방법론은 1B~11B 파라미터 규모 MoE 모델에서 성능 향상을 보였다.