Motif-3-Beta가 Hugging Face에 출시되었습니다

총 파라미터 약 314B / 토큰당 활성 파라미터 약 13B (희소 MoE (sparse MoE))

256K 컨텍스트 길이 (262,144 토큰), 네이티브 롱 컨텍스트 (natively long-context)

희소 라우팅 (Sparse routing): 384개의 전문가 (experts) 중 토큰당 8개가 활성화되며, 1개의 공유 전문가 (shared expert)가 추가됨

다국어 지원, 범용 (general-purpose)