우리는 독일어와 영어를 위한 독립적이고 오픈소스인 Mixture-of-Experts (MoE) 하이브리드 Mamba Transformer 기반 모델인 Soofi S 30B-A3B를 발표합니다. 이 하이브리드 설계는 토큰당 30B 매개변수 중 단지 3B의 매개변수만 활성화하며, 컨텍스트가 증가함에 따라 추론 캐시(inference cache)를 거의 일정하게 유지하여, 장문 컨텍스트 및 고부하 동시 접속 환경에서 밀집 모델(dense models) 대비 결정적인 처리량 우위를 제공합니다. 약 27조 개의 토큰으로 사전 학습되었으며 독일어 데이터가 의도적으로 가중치 부여되어 Soofi S는 종합 영어 및 독일어 벤치마크에서 밀집형 14B~27B 모델과 동등한 성능을 보여주면서도, 17개의 오픈 베이스 모델 중 양 언어 모두에서 최고의 코드 집계 점수를 달성했습니다. 또한 활성화된 매개변수가 훨씬 큰 유럽의 모든 독립적 기준선(baseline)보다 뛰어난 성능을 보였습니다. 완전하게 공개된 모델들 중에서 Soofi S는 Olmo 3 32B와 Apertus 70B를 앞지르는 최고 수준의 영어 및 독일어 평가 점수를 얻었습니다. Soofi S는 Munich에 위치한 Deutsche Telekom이 운영하는 독립적인 HPC 규모 AI 인프라인 German Industrial AI Cloud에서 처음부터 끝까지 구축되었습니다. Soofi S는 매우 관대한 오픈 액세스 조건으로 출시될 예정입니다: 가중치(weights), 선택된 중간 체크포인트(intermediate checkpoints), 전체 출처 데이터 회계, 하이퍼파라미터, 그리고 학습 및 평가 코드가 포함됩니다. 출처 라이선스가 허용하는 범위 내에서 데이터 구성 아티팩트(data-construction artifacts)는 관대한 라이선스로 공개되며, 상업적으로 라이선스된 출처는 집계 통계와 정확한 혼합 회계(mixture accounting)를 통해 문서화됩니다.