European 78B A3.4B 모델이 이제 llama.cpp를 통해 지원됩니다. 저는 https://huggingface.co/Aleph-Alpha/Kolibri-1의 GGUF 파일을 기다리고 있습니다.
Kolibri는 Aleph Alpha의 mixture-of-experts (MoE) 추론 모델로, 독일어와 영어에 중점을 두고 있습니다. 이 모델은 명시적인 추론 모드(explicit reasoning mode)와 도구 호출(tool calling)을 지원합니다. 장문 컨텍스트 및 추론 효율성을 위해 최적화되었습니다.
모델 개요 (Model overview)
- 모델: Kolibri 1
- 모델 제공사 (Model Provider): Aleph Alpha GmbH
- 모델 개발사 (Model Developer): Aleph Alpha Research GmbH
- 아키텍처 (Architecture): Mixture-of-Experts
- 총 파라미터 (Total parameters): 78B (78,103,074,560)
- 토큰당 활성 파라미터 (Active parameters / token): 3.46B (3,457,573,120)
- 언어 (Languages): 독일어(German), 영어(English)
- 컨텍스트 길이 (Context length): 1,048,576 토큰; 서비스 효율성과 복잡한 작업을 위해서는 ≤262,144 토큰을 권장합니다.
- 정밀도 (Precision): float8_e4m3fn (128×128 블록의 가중치에 동적 양자화된 활성화 적용, FP8 KV 캐시로 평가)
- 임베딩, LM 헤드, 정규화 및 MoE 라우터: bfloat16
- 추론 모드 (Reasoning mode): 지원함(Yes)
- 도구 호출 (Tool calling): 지원함(Yes)
- 라이선스 (License): Apache 2.0
- 사용 정책 (Acceptable Use Policy): 해당 없음, Responsible Use 참조
- 지식 차단 시점 (Knowledge cutoff): 영어(EN): 2026년 6월 18일, 독일어(DE): 2026년 6월 18일. 이는 암묵적인 지식에만 영향을 미치며, 모델은 도구 사용을 통해 더 최근의 정보를 사용할 수 있습니다.
하드웨어 요구 사항 (Hardware requirements)
- 모델 메모리 점유율: ~78 GB (FP8 가중치)
- 최소 사양 (Minimum): 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 또는 1× B300
- 권장 사양 (Recommended): 2× H100 SXM5, 2× H200, 1× B200 또는 1× B300
- 최적 용도: 다단계 추론(Multi-step reasoning), 검색 증강 생성(retrieval-augmented generation), 에이전트형 도구 호출(agentic tool calling), 코딩, 독일어 및 영어 언어 비서 기능
- 출시일 (Release Date): 2026년 10월 3일
- 실천 강령 (Code of Practice): Aleph Alpha는 EU GPAI Code of Practice의 서명 당사자입니다. https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai 참조.
- 훈련 데이터 (Training Data): 사전 훈련: 선별된 이중 언어 코퍼스(커리레이션 웹 데이터, 합성 재구문 및 번역, 고품질 소스를 결합)인 20T 토큰으로 훈련됨 (~62.5% 영어, ~23.9% 독일어, ~13.6% 코드).
또한 트레이닝 중간 단계에서 3.44T, 그리고 긴 컨텍스트 확장을 위해 201B로 추가 학습되었습니다. 포스트 트레이닝: SFT(Supervised Fine-Tuning) 혼합 데이터에는 오픈 소스 데이터셋과 합성적으로 생성된 데이터를 결합한 필터링된 이중 언어 데이터가 포함되었습니다. RL(Reinforcement Learning)의 경우, 추론(reasoning), 에이전트적(agentic), 그리고 명령어 따르기 사용 사례를 포괄하는 광범위한 환경을 사용했습니다. 트레이닝 방법: 저희는 Muon 및 Exact Quantile Balancing을 사용하여 레이어당 384개의 전문가를 가진 50개 레이어의 MoE(Mixture-of-Experts) 트랜스포머 모델을 구축했으며, 여기에는 공유된 전문가 1개와 라우팅된 전문가 6개가 포함되었습니다. 컴퓨팅 자원: 사전 학습 (중간 단계 및 긴 컨텍스트 제외, 실제 측정 기반): 하드웨어: NVIDIA B200 768개 (96 HGX 8xB200 노드); 병렬성: EP8 FSDP16 DP6; 시간: 21일 (511시간, 392k GPUh). 중간 단계: 5일, 90k GPUh (위와 동일한 설정). 긴 컨텍스트: 13시간, 10k GPUh (병렬성만 다름: FSDP128 DP6). FLOPS: 6.4e23 Tech Report https://aleph-alpha.com/downloads/tech-report.pdf 제출자 /u/jacek2023 [링크] [댓글]
