📰 해외 사례
독일 AI 기업 Aleph Alpha가 2026년 10월 3일에 공개한 LLM "Kolibri"에 대해, 베를린 거주 AI 엔지니어 Tejas Kumar 씨가 기술 보고서와 자신의 실험을 바탕으로 구조 및 강점과 약점을 정리한 글입니다. Kolibri는 독일어와 영어에 초점을 맞추었으며, 독일과 핀란드 시설에서 처음부터 학습된 '주권형 AI(Sovereign AI)' 모델로, 가중치(weights)를 누구나 다운로드할 수 있습니다. 이 모델은 Hacker News에서도 400점 이상의 주목을 받았습니다.
Aleph Alpha가 말하는 '주권'이란 자신들의 서버에서 구동되어 데이터가 건물 외부로 나가지 않으며, 누구에게도 임의로 변경되거나 중단될 수 없다는 의미입니다. 공공기관이나 자동차 부품 제조업체 등이 사내에서만 사용할 수 있다는 점이 강점입니다.
다만, 해외 요소가 전혀 없다는 뜻은 아닙니다. Aleph Alpha 자신들이 학습 데이터 대체에 Google의 Gemma와 같은 해외 모델을 사용하고 있다고 언급했습니다.
Kolibri는 독일어를 '저렴하게(安く) · 오랫동안(長く) · 정직하게(正直に)' 다루기 위한 6가지 노력을 거친 모델입니다.
1. 전문가 분담 (Specialization)
내부적으로는 780억 개의 파라미터가 있지만, 단어 하나를 처리할 때는 약 35억 개만 작동합니다. 작은 전문가(expert) 384명을 준비하고 매번 6명만 호출하는 구조(MoE: Mixture of Experts)입니다. 계산 부하가 가벼운 반면, 384명 전체를 대기 상태로 유지해야 하므로 메모리는 780억 개 분량이 완전히 필요합니다.
2. 독일어의 긴 단어를 자르지 않음 (Handling Long German Words)
독일어는 단어들을 연결하여 긴 합성어를 만듭니다. '연방헌법재판소'라는 단어는 GPT-5가 자른다면 6개로 분리되지만, Kolibri에서는 2개만으로 충분합니다. 보고서에서는 11.2%의 개선을 보였고, 저자가 독일 헌법 전문으로 실험했을 때는 15%의 효율성을 보여 적은 토큰 수로 같은 문서를 처리할 수 있었습니다. 영어에서는 차이가 없었습니다.
3. 대부분의 레이어는 가까운 부분만 봄 (Local Context Attention)
총 50개 레이어 중 40개 레이어는 바로 직전의 512단어만 보고 처리합니다. 전체를 조망하는 것은 5개 레이어에 1개 레이어입니다. 이를 통해 최대 100만 토큰 길이의 긴 문서를 접근 가능한 비용으로 읽을 수 있게 했습니다.
4. 독일어로 생각하기 (Thinking in German)
많은 추론 모델은 독일어로 질문을 받아도 머릿속으로는 영어로 생각합니다. Aleph Alpha의 실험에서는 독일어로 생각하는 데이터를 조금 추가했을 때, 오히려 수학 점수가 70.2점에서 48.3점으로 떨어졌으며, 대량으로 추가해야 겨우 회복되었습니다. Kolibri는 이 '대량'을 포함한 모델이며, 독일어 수학 분야에서 같은 규모의 모델 중 최고점을 기록했습니다.
5. '모른다'고 말하는 훈련 (Training to Say 'I Don't Know')
자료의 중요한 부분을 가리고 질문했을 때, 근거가 없으면 '모른다'고 대답하도록 훈련시켰습니다. 모르는 문제에 대해 지어내지 않고 인정할 수 있는 비율은 44%로, 같은 규모의 Qwen3.5(11.1%)를 크게 상회했습니다.
6. 생각하는 깊이를 선택 가능 (Selectable Depth of Thought)
한 번 처리할 때 '생각하지 않음'부터 '깊이 있게'까지 4단계 중 하나를 선택할 수 있습니다.
같은 규모의 오픈 모델과 비교했을 때, 종합 점수는 영어와 독일어 모두 최고 수준입니다. 다만 차이는 1점 정도의 미세한 격차였습니다. 눈에 띄게 강한 부분은 수학이며, 영어 난함수학 테스트에서는 비교 대상이었던 모든 MoE 모델을 능가했습니다. 한 번도 본 적 없는 사내 문서를 읽고 답을 찾는 테스트에서도 상위권을 차지했습니다.
Aleph Alpha는 약점 또한 같은 장소에 공개하고 있습니다.
- 기억만으로 답변하는 문제에서는 12개 모델 중 최하위권입니다. '모른다고 말할 수 있다'는 대신, 아는 지식 자체가 적습니다.
- 여러 번의 상호작용을 거치며 도구를 사용하는 작업과 코딩 에이전트로서의 성능은 같은 규모의 Qwen에 미치지 못합니다.
- 메모리가 78GB가 필요하므로 데이터 센터용 GPU가 필수적입니다. 노트북 PC에서는 구동할 수 없습니다.
- 대응 언어는 독일어와 영어만 가능합니다 (의도적으로 그렇게 설정한 것으로 보입니다).
저자 자신이 긴 독일어 문장으로 비교했을 때, Claude Sonnet 5.5에 136회 모두 패배했습니다.
독일어 문서를 사내에서 다루고 싶은 공공기관 · 은행 · 제조업 등에서 자료를 읽게 하여 답을 찾는 사용 방식(RAG: Retrieval-Augmented Generation)이 가장 적합합니다. 토큰의 적은 수, 긴 문서 처리 능력, 모른다고 말할 수 있는 세 가지 요소가 모두 효과적이기 때문입니다. 저자 역시 베를린 병원에서 환자의 증상 심각도를 판정하는 AI에 사용하는 것을 검토하고 있습니다.
반면, 코딩, 기억만으로 답변하는 질문, 다른 언어 지원, GPU 준비가 어려운 경우에는 적합하지 않습니다.
독일이 독일어에 강한 전용 모델을 자국에서 만들려는 시도 자체가 중요하다고 생각합니다.
성과 면에서는 보고서를 훑어본 바로는 그렇게 압도적이지 않은 것 같습니다. Sonnet 5.5에게 136회 전패라는 점도, 그럴 수 있다는 느낌입니다. 그리 쉽게 대기업의 벽을 돌파할 수는 없을 것입니다.
하지만 자국에서 개발하는 의미는 성능의 높이와는 다른 곳에 있는 것 같습니다. 중국의 오픈 웨이트 모델이 우수하다고 하거나, 클라우드라면 OpenAI나 Anthropic, Gemini가 우수하다는 이유로 '그것으로 충분하다'고 생각하게 되면, 자국의 외부에 의존하게 됩니다.
AI가 아직 인프라로 완전히 자리 잡지 못한 지금은 괜찮지만, 완전히 인프라가 된 후에 미국과 중국이 AI 기술 수출을 막는 같은 강경한 결정을 내린다면, 정책의 주도권을 빼앗길 수도 있습니다.
그래서 Gemini보다 열등하더라도 전혀 괜찮다고 생각합니다. 국산 개발을 진행하여, 만일의 사태에 대비해 독립된 인프라로 갖출 수 있는 상태를 유지하는 것. 이는 국방적인 측면에서도 중요합니다. 일본에서도 국산 AI 개발이 진행되고 있지만, 그러한 시도 자체에 의미가 있다고 봅니다.
성능은 세계 최고를 목표로 할 필요가 없습니다. 가성비 좋은 영역까지 만들 수 있다면, 국방적으로는 충분히 기능할 것입니다. 최첨단을 개척하는 것은 새로운 방법을 10개 시도해서 1개가 효과가 있는 정도의 어려운 일입니다. 그 다음 순위부터는, 유효하다고 밝혀진 수단을 모방하면 되기 때문에 저비용으로 따라잡을 수 있습니다. AI에 국한되지 않고, 모든 것이 그렇습니다.
기술적인 면에서 흥미로웠던 것은 토큰 분할 방식에 대한 이야기였습니다. 독일어는 접두사나 접미사를 붙인 합성어가 많다는 점은 어렴풋이 짐작했지만, 실제로 그렇더군요. 영어 중심의 분할 방식으로는 단어가 잘게 쪼개지기 때문에 AI가 다루기 어려울 것입니다. 원어민이 그 언어에 맞춰 설계하면 제대로 최적화할 수 있습니다. 실제로 해보니 토큰이 11~15%나 줄었다는 실측 결과가 나온 것은 흥미로웠습니다.
추론 학습에 대한 이야기 역시 흥미롭습니다. 독일어로 생각하는 데이터를 조금만 추가했더니 오히려 나빠졌고, 대량으로 넣어야 비로소 좋아졌다는 것입니다. 중간 정도만 학습시키면 혼란을 겪는다는 의미겠죠. 즉, 현재 기술로는 임시방편으로 국산 AI를 만드는 것은 진입 장벽이 높다는 뜻입니다. 영어권 개발 환경의 강점이 됩니다. 일본어에 대응한다고 해도, 지금의 AI는 영어로 모든 것을 생각한 후 번역하는 것이 실태라고 생각하지만, 그것을 계속한다면 일본인 개발자에게 부담이 되고, 그렇다고 해서 일본어 네이티브만으로 제로베이스에서 만드는 것은 또 다른 각오가 필요한 개발입니다.
