루프를 묶기(Tying the Loop) -- Mixture-of-Experts 언어 모델에서의 결합된 전문가 레이어 (Tied Expert

요약

MoE 아키텍처의 메모리 효율성을 높이기 위해 연속적인 트랜스포머 레이어 간에 전문가 파라미터를 공유하는 'Expert Tying' 방식을 제안합니다. 이 방식은 모델 성능 저하 없이 메모리 사용량을 최대 2배까지 절감할 수 있음을 입증했습니다.

핵심 포인트

• 레이어 간 전문가 파라미터를 공유하여 메모리 효율성 극대화
• 성능(Perplexity) 저하 없이 메모리 사용량 최대 2배 절감
• MoE 경로 내 파라미터 중복성을 활용한 최적의 트레이드오프 제공
• OLMoE, Qwen, DeepSeek 등 최신 아키텍처에서 효과 검증