최근 5년간 AI 연구원들이 대부분 떠난 국가에서 법적으로 컴퓨팅 자원을 구매할 수 없는 상황을 고려하면 얀덱스가 만든 모던한 소형 MoE에

요약

AI 연구 인력 유출 및 컴퓨팅 자원 구매 제한 등의 어려움에도 불구하고, Yandex가 Muon, Kimi Delta 등 현대적인 소형 MoE 모델을 개발한 성과를 언급합니다. 이 모델들은 약 18T 토큰 규모로 추정됩니다.

핵심 포인트

• Yandex는 어려운 환경 속에서도 소형 MoE 모델을 성공적으로 개발했습니다.
• 개발된 모델에는 Muon, Kimi Delta, AttnRes 등이 포함되어 있습니다.
• 이러한 성과에도 불구하고, 글쓴이는 Yandex가 AGI 연구소로서 Mistral 대비 1.5년 정도 뒤처졌다고 평가합니다.