Kolibri 는 영어와 독일어를 지원하는 MoE 모델로, 전체 781억 개 파라미터 중 토큰당 34.6억 개만 활성화하며 가중치를 Apache 2.0 으로 공개함
공공행정, 산업, 항공우주처럼 민감한 데이터를 처리하는 조직의 자체 인프라 배포 를 목표로 하며, 데이터부터 학습과 평가까지 개발 전 과정을 통제함
총 24조 토큰 으로 학습했고 독일어 비중은 20%를 넘으며, 후학습에는 지도 미세조정과 120만 개 이상의 과제 를 활용한 강화학습을 결합함
평가 대상 공개 모델 가운데 영어와 독일어 모두에서 품질과 서빙 비용의 파레토 최전선 에 위치하며, 최대 100만 토큰 문맥 과 요청별 추론 노력 설정을 지원함
하이브리드 어텐션 과 희소 MoE로 토큰당 연산량을 줄이고, 독일어에 맞춘 UniBPE 토크나이저 로 GPT-5 토크나이저보다 독일어 웹 텍스트에 필요한 토큰 수를 11.2% 줄임
자체 통제 인프라와 규제 환경을 위한 모델
Kolibri 는 영어와 독일어를 지원하는 디코더 전용 인과적 Transformer이며, 공개 가중치의 Apache 2.0 라이선스는 도입 조직이 자체 인프라에서 모델을 운영할 수 있게 함
공공행정, 산업, 항공우주 분야에서는 규제 아래 민감한 데이터를 처리하므로, 조직이 통제하는 인프라, 유럽의 가치에 부합하는 학습, 독일어와 영어 지원이 필요함
서빙 비용도 조직이 모델을 배포할 수 있는 규모를 제한함
개발 파이프라인은 처음부터 EU AI Act , 범용 AI 행동강령, GDPR 등 적용 가능한 규제를 고려해 설계함
데이터 파이프라인에서 불법 콘텐츠, 유해 콘텐츠, 불법 복제 콘텐츠를 걸러내고 개인정보를 삭제 처리함
응답을 유럽의 민주적 합의 가치에 맞추고, 주어진 문맥이 답변을 뒷받침하지 못하면 답변을 유보하도록 학습함
독일의 팀이 전 과정을 개발하고, 독일과 핀란드의 인프라 에서 학습함
품질, 서빙 효율과 문맥 지원
Kolibri는 781억 개 전체 파라미터 중 토큰당 34.6억 개, 4.4% 를 활성화해 전체 모델 용량에 비해 토큰당 연산량을 작게 유지함
평가한 공개 모델 범위에서 기반 모델과 후학습 모델 모두 영어와 독일어의 품질/서빙 비용 파레토 최전선 에 위치함
비교 그래프는 언어별 평균 벤치마크 점수와 GPU당 초당 디코딩 텍스트 바이트 수를 사용함
각 모델을 B200 GPU 8개 에서 가장 빠른 구성으로 실행했으며, 시퀀스 길이는 기반 모델 4k, 후학습 모델 16k로 설정함
에이전트, 산업, 수학과 코드, 일반 지식 영역의 대부분 벤치마크에서 Qwen3.6 35B-A3B , Nemotron 3 Super 120B-A12B, Mistral Small 4 119B-A6B보다 높은 점수를 기록함
산업 평가는 독일어 산업용 구동 기술, 영어 반도체, 독일어 공공 부문을 포함함
일반 지식은 MMLU-Pro, 독일어 MMLU-ProX, GPQA Diamond로 평가함
수학과 코드는 영어/독일어 AIME 2026 및 LiveCodeBench v6, 에이전트 역량은 BFCL v4, 독일어 Agentic Wiki QA, τ 3-Bench Banking으로 평가함
최대 100만 토큰 문맥 을 처리하며, 요청마다 추론 노력 을 설정해 응답 품질과 비용/지연시간 사이의 균형을 조절할 수 있음
학습 시 최대 문맥 길이는 256k 토큰으로, 지원 문맥 길이와 구분됨
데이터 구성과 3단계 학습
사전학습, 중간학습, 긴 문맥 확장을 합쳐 약 24조 토큰 을 학습하며, 독일어가 데이터 혼합의 20% 이상 을 차지함
기존 독일어 데이터셋에 자체 웹 수집/선별 파이프라인과 합성 생성으로 확보한 2조 개 이상의 독일어 토큰을 보충함
기반 모델 학습은 다음 3단계 로 진행함
사전학습 : 9개 영역의 데이터로 20조 토큰을 학습하며, 문맥 길이는 16k, 배치 크기는 7,550만 토큰임
중간학습 : 웹 텍스트보다는 선별 데이터셋 중심의 혼합으로 3.4조 토큰을 추가 학습하며, 문맥 길이는 64k, 배치 크기는 1억 70만 토큰임
긴 문맥 확장 : 2,000억 토큰을 추가 학습하며, 문맥 길이는 256k, 배치 크기는 2억 130만 토큰임
각 단계가 서로 다른 데이터 혼합을 사용하므로 단계 간 학습 손실 수준을 직접 비교할 수 없음
후학습 은 선별한 독일어/영어 데이터의 지도 미세조정과, 내부에서 선별한 120만 개 이상 과제 의 강화학습을 결합함
과제는 추론, 도구 사용, 지시 따르기, 코드, 검색을 포함함
Kolibri Origin에서 확장한 개발 파이프라인
Kolibri Origin 은 전체 개발 파이프라인을 대규모로 검증하기 위한 내부 모델이며 공개하지 않음
전체 파라미터는 306억 개, 토큰당 활성 파라미터는 32.7억 개로 활성 비율은 10.7%임
총 학습량은 약 8조 토큰, 지원 문맥 길이는 64k 토큰임
Kolibri는 Origin 대비 데이터, 모델 크기, 문맥 길이, 후학습 규모 를 확대하고 아키텍처와 학습 방식을 개선함
Origin은 사전학습에서 4k 문맥으로 7.5조 토큰, 중간학습에서 8k 문맥으로 1,220억 토큰, 긴 문맥 확장에서 64k 문맥으로 960억 토큰을 학습함
Kolibri의 총 학습 토큰은 약 3배, 최대 학습 문맥 길이는 4배이며, 중간학습 토큰은 약 28배로 늘어남
Model Factory 가 데이터 선별부터 사전학습, 후학습, 평가, 배포까지의 인프라, 도구, 개발 프로세스를 연결함
워크플로를 버전 관리되는 코드로 표현해 실험을 재현하고 조합하며 추적할 수 있게 함
새 모델 세대, 추가 언어, 새로운 전문화도 이 코드의 변경으로 다룸
하이브리드 어텐션과 희소 MoE 구조
총 50개 Transformer 블록 에 슬라이딩 윈도 어텐션(SWA)과 전체 어텐션을 4:1 비율 로 배치함
매 다섯 번째 블록은 전체 어텐션을 사용하며, 나머지 40개 블록은 앞선 512개 토큰과 현재 토큰에 SWA를 적용함
어텐션과 MoE 하위 계층의 앞뒤에 RMSNorm을 배치하는 샌드위치 정규화를 사용함
GQA 는 쿼리 헤드 48개, KV 헤드 4개, 헤드 차원 128로 구성함
SWA 블록에만 θ=10,000인 RoPE 로 위치 정보를 넣고, 전체 어텐션 블록에는 위치 인코딩을 사용하지 않음
쿼리와 키는 RoPE 적용 전에 헤드별 RMS 정규화를 수행함
각 MoE 계층 은 토큰을 라우팅 대상 전문가 384개 중 6개로 보내며, 공유 전문가 1개도 실행함
전문가는 은닉 차원 512의 SiLU 게이트 FFN임
라우터 로짓에 sigmoid를 적용하고 상위 6개 점수로 전문가 출력을 가중하되, 선택 후 점수를 다시 정규화하지 않음
전문가 부하는 Exact Quantile Balancing(EQB) 과 Load-Error Injection(LEI)으로 균형을 맞춤
Origin은 모든 블록에서 RoPE를 적용한 전체 어텐션 을 사용하고, 첫 두 블록은 밀집 계층으로 구성함
MoE 계층에서는 전문가 128개 중 8개를 선택하고 공유 전문가 1개를 사용함
전문가 부하 균형에는 Soft-Clamped Momentum Expert Bias Updates(SMEBU)와 GShard 방식의 보조 손실을 결합함
설계 선택을 검증한 축소 모델 실험
설계 선택은 먼저 통제된 축소 규모 절제 실험 으로 비교한 뒤 더 큰 규모에서 검증함
각 실험에서 자원 일치 기준, 학습 예산, 평가 단계를 정하고 동일한 학습 진행 시점의 체크포인트를 비교함
두 대리 모델 은 Kolibri의 주요 아키텍처를 공유하되 폭, 전문가 수, 전문가 차원을 줄임
M 규모는 전체 78억 개/활성 6억 개 파라미터로 976억 토큰을 학습함
L 규모는 전체 306억 개/활성 21억 개 파라미터로 3,276억 토큰을 학습함
일부 긴 문맥 실험에서는 각각 50억 토큰과 150억 토큰의 짧은 문맥 확장 단계를 사전학습 직후 적용함
후보 변경은 모델링 품질 , 어텐션/MoE 계층의 안정성, 학습 및 추론 디코딩 효율로 평가함
품질 평가는 검증 손실과 벤치마크 묶음을 사용함
개발 중 평가 항목을 확장했으므로 서로 다른 실험의 종합 점수는 직접 비교할 수 없음
아키텍처가 바뀌면 최적 학습률도 달라질 수 있으므로, 모델 형태 비교에서는 가장 작은 실험 규모에서 학습률을 별도 조정 함
스케일링 법칙의 예측값 η₀에 대해 η₀/√2, η₀, √2η₀를 시험해 부적절한 학습률이 구조 평가를 왜곡하지 않게 함
UniBPE 토크나이저의 설계와 학습
UniBPE 는 BPE의 탐욕적 상향식 병합을 유지하면서, 병합 후보를 빈도가 아닌 Unigram 손실 감소량 으로 선택함
토큰 빈도로 정의한 Unigram 모델의 코퍼스 음의 로그우도를 최소화하며, 손실을 가장 많이 줄이는 병합부터 적용함
병합 점수는 토큰 쌍 빈도와 두 부모 토큰의 빈도만으로 닫힌 형태로 계산할 수 있어, BPE보다 새로운 통계 정보가 필요하지 않음
결과물은 일반적인 어휘와 병합 목록임
토크나이저는 사전학습 데이터에서 섞어 추출한 100GB 로 학습하며 Unicode 정규화를 적용하지 않음
GPT4 사전 토크나이저의 정규식을 수정해 각 숫자를 별도 토큰으로 분리함
바이트 폴백을 사용하며 초기 토큰은 256개 바이트 토큰으로 구성함
최종 128,000개 어휘 는 UniBPE와 일반 BPE를 결합해 구성함
UniBPE로 119,744회 병합하고, 일반 BPE로 7,900회 병합한 뒤 예약/특수 토큰 100개를 추가함
UniBPE만으로는 ..
처럼 ...
를 단일 토큰으로 만드는 데 필요한 일부 병합이 어려움
순수 UniBPE를 사용한 Origin의 압축률 저하를 보완하기 위해 일반 BPE 단계를 추가했으며, 실험에서 일반 BPE 수준의 압축률을 달성함
독일어 압축률과 형태소 정렬
독일어 텍스트에서 Kolibri 토크나이저는 토큰당 4.90바이트 로 평가한 토크나이저 12개 중 가장 높은 압축률을 기록함
GPT-5 토크나이저는 토큰당 4.35바이트이며, Kolibri는 같은 사전학습 코퍼스로 학습한 BPE와 비슷한 수준임
독일어 웹 텍스트에서 GPT-5 대비 필요한 토큰 수가 11.2% 적음
영어에서는 토큰당 4.58바이트 로, 영어에서 가장 높은 압축률을 보인 GPT-5의 4.67바이트에 근접함
형태소 경계 정렬 은 일반 BPE보다 일관되게 개선됨
독일어에서 토큰 경계가 형태소 경계와 일치하는 비율은 Kolibri 65%, GPT-5 47%임
독일어 압축률 향상은 학습/서빙 비용 을 낮추고 긴 문맥 작업에 필요한 토큰 길이를 줄이며, 영어 효율도 경쟁력 있는 수준으로 유지함
댓글과 토론