불확실한 곳에 전문가를 배치하라: Mixture-of-Experts LoRA를 위한 신뢰도 적응형 라우팅 (Confidence-Adaptive

요약

MoE-LoRA 모델에서 토큰별 불확실성에 따라 전문가 수를 동적으로 조절하는 CARE(Confidence-Adaptive Routing of Experts) 기법을 제안합니다. Nucleus 샘플링 방식을 활용해 연산 효율성을 높이면서도 성능을 개선했습니다.

핵심 포인트

• 토큰의 불확실성을 기반으로 전문가 수를 동적으로 결정하는 CARE 방식 제안
• 고정된 k값을 사용하는 기존 MoE-LoRA 대비 연산 효율성 및 성능 개선
• 추가 파라미터 없이 단일 순전파로 즉시 적용 가능한 규칙
• LLaMA-3.1 및 Qwen2.5 모델 기반 벤치마크에서 우수한 성능 입증
• 분포 외 탐지(OOD) 성능 향상 효과 확인