Marco-MoE: 효율적인 업사이클링을 갖춘 오픈 멀티링구얼 미식스 오브 전문가 언어 모델

요약

Marco-MoE는 완전히 오픈된 다국어 희소 Mixture of Experts (MoE) 언어 모델로, 입력 토큰당 전체 파라미터의 약 5%만 활성화되는 극도로 희소한 구조를 가집니다. 이러한 효율적인 희소성과 업사이클링 능력을 결합하여 대규모 데이터셋에 대한 사전 학습을 가능하게 하며, 경쟁 모델 대비 뛰어난 성능-연산비(performance-to-compute ratio)를 달성합니다. 또한, Marco-MoE-Instruct 변형은 추가 학습을 통해 생성되었으며, 활성화된 파라미터가 더 많은 경쟁 모델보다 우수한 성능을 보여줍니다. 이 모델은 언어 간 공유 구조와 개별 언어 전문성을 동시에 유지하며 확장 가능한 다국어 기능을 제공합니다.

핵심 포인트

• Marco-MoE는 완전히 오픈된 다국어 희소 MoE(Mixture of Experts) 아키텍처를 채택했습니다.
• 입력 토큰당 전체 파라미터의 약 5%만 활성화되는 극단적인 희소성을 특징으로 하여 효율적인 학습을 가능하게 합니다.
• 경쟁 모델 대비 최상의 성능-연산비(performance-to-compute ratio)를 달성하며, 다국어 및 언어 확장성이 뛰어납니다.
• Marco-MoE-Instruct 변형은 추가 학습을 통해 생성되었으며, 활성화된 파라미터가 더 많은 경쟁 모델보다 우수한 성능을 입증했습니다.
• 학습 데이터셋, 레시피, 모델 가중치를 모두 공개하여 커뮤니티의 활용을 지원합니다.