MoE 강화학습에서의 전문가 공간 탐색

요약

본 논문은 Mixture-of-Experts (MoE) 모델의 강화학습(RL)을 개선하기 위한 새로운 프레임워크인 Expert-Space Exploration Reinforcement Learning (ESRL)을 제안합니다. ESRL은 전문가 라우팅 공간을 명시적으로 탐색하여 역할 수행 다양성을 높이면서도, 신뢰할 수 있는 계산 경로를 유지하는 것이 핵심입니다. 실험 결과, ESRL은 다양한 MoE 백본에서 최고의 성능을 보여주었습니다.

핵심 포인트

• ESRL은 MoE 모델의 전문가-라우팅 공간을 명시적으로 탐색합니다.
• 신뢰성 유지를 위해 고신뢰성 전문가를 앵커로 보존하고 후보 풀을 제한합니다.
• 라우터 엔트로피에 따라 섭동 강도를 조정하여 과도한 섭동을 방지합니다.
• ESRL은 수학, 과학, 코드 작업 등 전반적인 영역에서 최고 성능을 입증했습니다.