@Thom_Wolf 리트윗: 오늘날 최고의 오픈 모델 20개 중 18개가 Mixture-of-Experts(MoE)입니다. Dense 방식은

요약

본 게시물은 Mixture-of-Experts(MoE) 모델의 학습에 대한 심층적인 가이드인 'The Ultimate MoE Training Handbook' 공개를 알립니다. 저자들은 800k GPU 시간을 사용한 자체 실험을 바탕으로, 전문가 설계, all-to-all 통신 최적화, 라우터 선택 등 고난도 기술 질문들을 정리했습니다.

핵심 포인트

• 최고의 오픈 모델은 MoE 아키텍처가 주류를 이루고 있습니다.
• 핸드북은 전문가 수/크기 결정 및 공유 여부 등 심층 노하우를 제공합니다.
• 실행 속도 저하 원인 분석, 라우터 유형 선택 등 기술적 질문을 다룹니다.
• 800k GPU 시간을 사용한 자체 실험 결과와 코드가 포함되어 있습니다.