Aleph Alpha가 78B 매개변수, 1M 컨텍스트 창을 가진 MoE 모델 Kolibri를 공개하다

Aleph Alpha가 Apache 2.0 라이선스 하에 배포되는 78B 매개변수, 3.46B 활성(active), MoE 오픈 웨이트 모델인 Kolibri를 출시했습니다.

Aleph Alpha는 독일의 AI 연구소이며, Mistral을 제외하고 EU에서 이 정도 수준의 성능을 달성한 최초의 범용 모델일 가능성이 높습니다!

"이 모델은 명시적인 추론 모드(explicit reasoning mode)와 도구 호출(tool calling)을 지원합니다. 장문 컨텍스트 및 추론 효율성에 최적화되었습니다."

"Aleph Alpha 팀은 이중 언어 독일어/영어 토크나이저를 개발했으며, 모델의 훈련 과정 전반에 걸쳐 유기적인 독일어 데이터를 포함하는 데 중점을 두어 사전 학습 토큰의 21.3%가 독일어로 구성되도록 했습니다."

"Kolibri는 EU AI Act, 일반 목적 AI 실천 강령(General-Purpose AI Code of Practice), 그리고 GDPR을 염두에 두고 처음부터 구축되었으며, 저작권법은 신뢰할 수 있는 기술의 초점이었습니다."

더 많은 EU 연구소들이 참여하고 있습니다 👀