@Thom_Wolf 리트윗: 오늘날 최고의 오픈 모델 20개 중 18개가 Mixture-of-Experts입니다. Dense 방식은 사실상

요약

본 글은 현재 최고의 오픈 모델들이 Mixture-of-Experts(MoE) 구조를 채택하는 추세를 강조하며, Dense 방식의 한계를 지적합니다. 개발자들은 800k GPU 시간을 사용해 진행한 자체 실험 결과를 담아 'The Ultimate MoE Training Handbook'을 무료로 공개했습니다. 이 핸드북은 MoE 모델 훈련 과정에서 발생하는 심층적인 기술적 질문과 해결책들을 제공하는 가이드입니다.

핵심 포인트

• 최신 오픈 모델의 주류 구조는 Mixture-of-Experts(MoE) 방식임.
• 800k GPU 시간을 투입한 자체 실험을 바탕으로 핸드북이 제작됨.
• 전문가 개수, 라우터 유형, 손실 함수 등 MoE 훈련의 심층적 노하우를 다룸.
• All-to-all 통신 최적화 및 추론 속도 개선 방안을 제시함.