밀집(Dense) 모델을 Mixture-of-Experts (MoE)로 변환하는 방법

요약

본 글은 기존의 밀집(dense) 모델을 희소한 Mixture-of-Experts (MoE) 구조로 변환하는 실험 과정을 공유합니다. 저자는 RTX 4060과 같은 개인 하드웨어 환경에서 대규모 '업사이클링' 연구를 시도했으며, Qwen2.5-0.5B와 SmolLM2-360M 모델을 성공적으로 MoE 형식으로 변환했습니다. 변환된 모델들은 원래 대비 낮은 컴퓨팅 비용을 가지지만, 평가 결과에서 성능 저하(품질 격차)가 관찰되었습니다.

핵심 포인트

• 밀집 모델을 MoE로 변환하여 토큰당 비용 효율성을 높이는 방법을 시도함.
• RTX 4060 등 개인 GPU 환경에서도 대형 모델의 MoE 변환 실험이 가능함을 보여줌.
• 변환된 MoE 모델은 컴퓨팅 비용 절감 효과는 있으나, 원본 대비 성능 저하가 발생함.
• 향후 더 큰 모델을 대상으로 하거나 전문가 레이아웃을 개선하는 연구가 필요함.