분포 변화(Distribution Shift) 상황에서의 보정된 전문가 혼합(Mixture-of-Experts) 모델을 향하여

요약

분포 변화(Distribution Shift) 상황에서 Mixture-of-Experts(MoE) 모델의 보정 성능을 개선하는 연구를 다룹니다. 하드 라우팅과 소프트 라우팅 모델의 차이를 분석하고, 적대적 재가중치 방식을 통해 정확도와 보정 성능의 트레이드오프를 개선하는 방법을 제안합니다.

핵심 포인트

• MoE 모델의 라우팅 메커니즘과 전문가 보정 간의 상호작용 분석
• 하드 라우팅 모델은 전문가 보정만으로도 전체 모델 보정 가능
• 소프트 라우팅 모델은 전문가 보정만으로는 불충분함 확인
• 적대적 재가중치(Adversarial Reweighting)를 통한 보정 오차 해결
• 다양한 작업 및 분포 변화에서 정확도-보정 트레이드오프 개선