현대 Mixture-of-experts에서 라우팅 탐색 재고찰

요약

Mixture-of-experts (MoE) 아키텍처는 전문가 분할 방식에 따라 두 가지 설계(미세 조정된 전문가 분할 vs. 공유 전문가)를 결합하고 있습니다. 본 논문은 이 과정에서 발생하는 라우팅 탐색의 딜레마를 분석하며, MirrorMoE라는 새로운 방법을 제안합니다. MirrorMoE는 불필요한 전문가를 토큰에 맞게 억제하여 탐색 공간을 줄이고 성능을 향상시킵니다.

핵심 포인트

• MoE 아키텍처는 미세 조정된 분할과 공유 전문가 결합이 핵심입니다.
• 공유 전문가는 라우팅의 가변성을 줄여 탐색적이지 않을 수 있습니다.
• MirrorMoE는 토큰 적응형 억제(token-adaptive suppression)를 통해 딜레마를 해소합니다.
• MirrorMoE는 모델 규모 전반에 걸쳐 일관된 성능 향상을 보입니다.