독립적이고 오픈소스인 독일어 및 영어용 MoE 하이브리드 Mamba 트랜스포머 기반 모델 Soofi S 30B-A3B 소개

요약

독립적이고 오픈소스인 MoE 하이브리드 Mamba Transformer 기반 모델 Soofi S 30B-A3B가 독일어와 영어용으로 발표되었습니다. 이 모델은 토큰당 적은 매개변수만 활성화하여 장문 컨텍스트 및 고부하 환경에서 높은 처리량을 제공합니다. 특히 유럽의 여러 기준선 대비 뛰어난 성능을 보여주며, 완전 공개된 모델 중 최고 수준의 평가 점수를 달성했습니다.

핵심 포인트

• MoE 하이브리드 Mamba Transformer 기반 구조 채택
• 토큰당 3B 매개변수만 활성화하여 효율성 극대화
• 독일어와 영어에 특화되어 유럽 언어 성능 우위 입증
• 완전한 가중치, 코드, 데이터 출처까지 공개하는 오픈소스 모델