사후 학습된 MoE는 자기 증류 (Self-Distillation)를 통해 전문가의 절반을 건너뛸 수 있다

요약

ZEDA(Zero-Expert Self-Distillation Adaptation)는 이미 학습이 완료된 정적 MoE 모델을 효율적인 동적 MoE 모델로 변환하는 저비용 프레임워크입니다. zero-output 전문가 주입과 2단계 자기 증류 방식을 통해 모델의 정확도를 유지하면서도 전문가 연산량(FLOPs)을 50% 이상 절감할 수 있습니다. 이를 통해 추론 속도를 약 1.20배 향상시키며 기존 동적 MoE 베이스라인보다 뛰어난 성능을 입증했습니다.

핵심 포인트

• 사후 학습된 정적 MoE를 동적 MoE로 변환하여 추론 비용을 직접적으로 완화함
• ZEDA 프레임워크는 zero-output 전문가 주입과 그룹 수준 균형 손실을 활용한 2단계 자기 증류를 사용함
• Qwen3-30B-A3B 및 GLM-4.7-Flash 테스트 결과, 전문가 FLOPs의 50% 이상을 제거하면서도 성능 저하를 최소화함
• 기존 동적 MoE 베이스라인 대비 높은 성능과 약 1.20배의 엔드 투 엔드 추론 속도 향상을 제공함