Mixture-of-Experts (MoE)는 희소 전문가 활성화 (sparse expert activation)를 통해 언어 모델을 효율적으로 확장하며, 그 동적 변형 (dynamic variant)은 입력 의존적인 방식으로 활성화된 전문가를 조정함으로써 계산량을 더욱 줄입니다. 기존의 동적 MoE 방법들은 대개 처음부터 수행하는 사전 학습 (pre-training from scratch) 또는 특정 작업에 맞춘 적응 (task-specific adaptation)에 의존하며, 이미 완전히 학습된 MoE를 실용적으로 변환하는 연구는 미진한 상태로 남아 있습니다. 이러한 적응을 가능하게 하면 서빙 (serving) 과정에서 쉬운 토큰들이 불필요한 전문가를 우회할 수 있게 하여 추론 비용을 직접적으로 완화할 수 있습니다. 본 논문은 사후 학습된 정적 MoE 모델을 효율적인 동적 모델로 변환하는 저비용 프레임워크인 Zero-Expert Self-Distillation Adaptation (ZEDA)를 소개합니다. 이러한 구조적 변환을 안정화하기 위해, ZEDA는 각 MoE 레이어에 파라미터가 없는 zero-output 전문가를 주입하고, 기존 MoE를 동결된 교사 (frozen teacher)로 활용하며 그룹 수준의 균형 손실 (group-level balancing loss)을 적용하는 2단계 자기 증류 (self-distillation)를 통해 확장된 모델을 적응시킵니다. 수학, 코드, 지시 이행 (instruction following)을 아우르는 11개 벤치마크에서 Qwen3-30B-A3B 및 GLM-4.7-Flash를 대상으로 테스트한 결과, ZEDA는 미미한 정확도 손실만으로 전문가 FLOPs의 50% 이상을 제거했습니다. 이는 두 모델에서 가장 강력한 동적 MoE 베이스라인보다 각각 6.1포인트와 4.0포인트 높은 성능을 보였으며, 약 1.20배의 엔드 투 엔드 (end-to-end) 추론 속도 향상을 제공합니다.