라우터는 전문가의 기하학적 구조를 학습한다: 희소 전문가 혼합 (Sparse Mixture-of-Experts) 모델에서의 기하학적 결합

요약

본 연구는 Sparse Mixture-of-Experts (SMoE) 모델의 학습 난제(라우팅 집중 및 부하 분산 손실로 인한 전문화 저해)를 해결하기 위해, 라우터와 전문가 간의 기하학적 결합을 분석합니다. 연구 결과, 선택된 전문가 가중치와 라우터 가중치는 동일한 입력 방향을 따라 그래디언트를 받으며 일치하는 라우팅-전문가 방향이 형성됨을 밝혀냈습니다. 또한, 온라인 K-Means 기반의 새로운 라우터를 제안하여, 기존 보조 손실 방식보다 적은 퍼플렉시티 증가로 더 낮은 부하 불균형을 달성하며 효과적인 할당 기하학의 중심성을 입증했습니다.

핵심 포인트

• SMoE 모델에서 라우터와 전문가 가중치는 동일한 입력 방향을 따라 그래디언트를 받는 '기하학적 결합'이 형성된다.
• 보조 부하 분산 손실(auxiliary load-balancing losses)은 이 기하학적 결합 구조를 깨뜨리고 라우팅 방향의 유사성을 높인다.
• 온라인 K-Means 기반 라우터는 기존 방식 대비 낮은 퍼플렉시티 증가로 우수한 부하 불균형을 달성하며 효과적인 할당 기하학을 형성한다.