new MoE from ai2, EMO

요약

AI2에서 새롭게 공개한 MoE(Mixture of Experts) 모델인 EMO는 1B 활성 파라미터와 14B 총 파라미터를 사용하여 1T 토큰으로 학습되었습니다. 이 모델의 가장 주목할 만한 특징은 '문서 수준 라우팅' 기능입니다. 이는 단순히 표면적인 패턴을 인식하는 것이 아니라, 전문가들이 건강이나 뉴스 같은 특정 도메인 주변에 의미적으로 군집화되어 있다는 점입니다.

핵심 포인트

• EMO는 1B 활성/14B 총 파라미터를 가진 MoE 모델이다.
• 1T 토큰으로 학습되어 높은 성능을 기대할 수 있다.
• 문서 수준 라우팅(Document-level routing) 기능을 제공한다.
• 전문가들이 도메인별로 의미적으로 군집화되어 있어, 깊이 있는 지식 처리가 가능하다.