EMO: Pretraining Mixture of Experts for Emergent Modularity

요약

EMO(Expert Modularity Optimization)는 기존 MoE(Mixture-of-Experts) 모델이 가진 도메인 특화 및 메모리 효율성 문제를 해결하기 위해 제안된 모듈러 아키텍처입니다. EMO의 핵심은 유사한 도메인의 토큰들이 유사한 전문가 그룹에 의존하도록 유도하여, 문서 경계만으로도 자연스럽게 전문화되고 조립 가능한 전문가 풀을 형성하는 것입니다. 이를 통해 전체 모델 크기 대비 적은 활성 전문가만을 사용하여 높은 성능과 뛰어난 메모리 효율성을 달성할 수 있습니다.

핵심 포인트

• EMO는 기존 MoE의 도메인 특화 및 메모리 제약 문제를 해결하는 모듈러 아키텍처이다.
• 유사한 도메인의 토큰들이 유사한 전문가 그룹에 의존하도록 유도하여, 문서 경계만으로 전문적인 전문가 풀을 형성한다.
• 전문가 사용이 선택적(selective)이 가능하여, 전체 전문가의 일부만 유지해도 성능 저하가 매우 적다 (예: 25% 유지 시 손실 < 3%).
• EMO의 전문가들은 도메인 수준(예: 수학, 코드)에서 전문성을 가지며, 이는 표준 MoE와 차별화된다.
• 이 아키텍처는 대규모 희소 모델의 메모리 효율적이고 모듈러한 배포 경로를 제시한다.