Mistral Large 4: 유럽 최초의 1조 개 매개변수 오픈 웨이트 모델 내부 분석

Mistral Large 4: 유럽 최초의 1조 개 매개변수 오픈 웨이트 모델 내부 분석

Mistral AI는 2026년 10월 6일, **Mistral Large 4**의 공개 프리뷰를 발표했습니다. 이 모델은 회사가 "Le Chonk"라는 별명을 붙인 1.05조 개 매개변수의 멀티모달 전문가 혼합 모델(Mixture-of-Experts, MoE)입니다. 가중치(weights)는 10월 말까지 공개될 예정이며, 이는 유럽 연구소에서 나온 최대 규모의 오픈 웨이트 모델이 될 것입니다. 본 글에서는 아키텍처, 학습 방법론, 벤치마크 결과, 그리고 이 출시가 자체 인프라에서 최첨단 규모의 모델을 실행하려는 실무자들에게 어떤 의미를 갖는지 자세히 다룹니다.

아키텍처: 비전 인코더를 갖춘 세분화된 MoE (Granular MoE with a Vision Encoder)

Mistral Large 4는 총 1.05조 개 매개변수와 토큰당 **520억 개의 활성 매개변수(active parameters)**를 가진 희소 전문가 혼합 모델(sparse Mixture-of-Experts, MoE)입니다. 이 "세분화된(granular)" MoE 설계는 기존의 거친 전문가 배치 방식과 다릅니다. 토큰을 소수의 대형 전문가 블록으로 라우팅하는 대신, 라우터가 더 크고 작으며 전문화된 단위들의 풀에서 선택합니다. 이는 라우팅 메커니즘이 각 토큰에 적용되는 용량을 더욱 세밀하게 제어할 수 있게 해주며, Mistral에 따르면 이를 통해 처리량(throughput)과 작업 특수성 모두를 향상시킵니다.

별도의 **16억 개 매개변수의 비전 인코더(vision encoder)**가 이미지 입력을 처리합니다. 이 인코더는 차트, 엔지니어링 도면, 위성 이미지, PDF와 같은 시각적 콘텐츠를 언어 백본(language backbone)이 추론할 수 있는 표현으로 변환합니다. 그 결과물은 별도의 시스템 간 전환 없이 명령어 수행, 다단계 추론, 멀티모달 이해를 처리하는 단일 모델입니다.

이 모델은 임대된 클라우드 용량이 아닌, Mistral 자체 유럽 데이터 센터의 3,800 NVIDIA Grace Blackwell GPU에서 처음부터 학습되었습니다. 컨텍스트 창(context window)은 Mistral 문서에 100만 토큰으로 명시되어 있지만, 현재 프리뷰 API는 일부 서드파티 제공업체에서 524,000 토큰 제한을 적용하고 있습니다.

대규모 강화학습 (Reinforcement Learning at Scale)

Mistral은 자체의 사후 학습(post-training) 접근 방식을 "규모화된 강화학습 (RL at scale)"이라고 설명합니다. 이는 모델의 역량이 훈련 과정 동안 변화함에 따라 동적으로 적응하는 강화학습 파이프라인입니다. 고정된 RL 커리큘럼을 실행하기보다는, 시스템은 현재 모델의 능력 경계(edge)에 머무르기 위해 작업 분포를 지속적으로 조정합니다.

현재 컴퓨팅 규모(약 3,000대의 GPU)에서 단일 훈련 실행은 하루에 약 330억 개의 토큰을 생성하며, 이 중 필터링 및 마스킹 후 학습 가능한 완성 토큰(trainable completion tokens)은 약 160억 개입니다. 이 파이프라인은 긴 궤적(long trajectories)에 최적화되어 있어, 여러 압축 단계(compaction steps)에 걸쳐 수백만 개의 토큰 규모의 역할 수행 예산(rollout budgets)을 지원합니다. 이것이 바로 모델이 단순히 짧은 형식의 완성 작업뿐 아니라 복잡하고 다단계적인 에이전트 작업(agentic tasks)으로부터 학습할 수 있게 하는 원동력입니다.

중요하게도, Mistral은 미리 보기 버전 뒤에서 진행되는 RL 실행이 아직 완료되지 않았다고 밝힙니다. 이 모델은 가중치(weights)가 배포되기 전에 계속 개선될 것으로 예상되는데, 이는 출시 일정에 대한 매우 이례적인 투명성을 보여줍니다.

벤치마크 결과

Mistral은 여러 도메인에 걸쳐 결과를 발표했습니다. 공식 발표(official announcement)에서 가져온 주요 수치는 다음과 같습니다:

에이전트 코딩 (Agentic coding):

• DeepSWE v1.1: 61.7%
• SWE-Atlas-QnA: 59.4%
• Terminal-Bench 4: 28.3%
• 결합 코딩 에이전트 지수 (Combined Coding Agent Index): 49.8% (DeepSeek V4 Pro 및 Qwen3.8 Max보다 앞섬)

에이전트 워크플로우 (Agentic workflows):

• AutomationBench (657개 비즈니스 워크플로우): 59.9%
• AA-Briefcase (장기 지식 작업, long-horizon knowledge work): 1,393 Elo

사이버 보안 (Cybersecurity):

• Cybench (40개 CTF 스타일 챌린지): 93%
• 취약점 재현 및 패치 테스트: 82%
• B3 AI 보안 벤치마크 (공격 저항성): 93.3%

멀티모달 (Multimodal):

• Dense 200 시각적 접지(visual grounding): 42% (GPT-6 Astra의 41% 대비)

Surge AI를 통한 블라인드 인간 평가에서 전문 주석가들은 프리뷰 버전에 3.74/5점을 부여했으며, 이는 다섯 개 모델 중 두 번째 순위로, Claude Opus 5(4.22) 다음이고 GLM-5.3, Kimi K3, GLM-5.2보다 높은 점수입니다.

독립 평가 기관인 Artificial Analysis는 프리뷰 버전에 지능 지수(Intelligence Index) 38점을 부여했습니다 (추론 활성화 시). 이는 추론 기능이 비활성화된 Mistral Large 3의 9점에서 상승한 수치입니다. 중국 연구소의 오픈 웨이트 모델들이 여전히 이 지수에서 더 높은 점수를 기록하고 있습니다 — GLM-5.3은 45점, Kimi K3는 44점 — 하지만 Mistral Large 4는 중국 외 지역에서 개발된 오픈 웨이트 모델 중 선두를 차지합니다.

사이버 보안을 최우선 사용 사례로 설정하다

Mistral Large 4의 의도적인 설계 선택 중 하나는 사이버 보안을 사후 고려 사항이 아닌 주요 역량으로 다루는 것입니다. 이 모델은 가중치(weights)가 공개되기 전에 사이버 보안 조직과 정부 당국에 의해 레드팀 테스트를 받고 있으며, Mistral은 검증된 방어자들을 위해 조정 기능이 줄고 사이버 역량이 확장된 버전을 제공하고 있습니다.

그 근거는 실용적입니다: 인시던트 대응 및 취약점 연구에서 제공업체 수준의 거부는 합법적인 작업을 차단할 수 있기 때문입니다. 조직 자체 정책 하에 셀프 호스팅(self-hosted) 할 수 있고, 악성 코드를 분석하거나 알려진 CVE를 재현하는 것을 거부하지 않는 모델은 보수적인 안전 필터가 적용된 호스팅 API와는 의미 있게 다릅니다. Artificial Analysis Cyber Index는 Mistral Large 4를 글로벌 상위 5위에 배치했으며, 이 벤치마크에서 중국 외 지역에서 개발된 오픈 웨이트 모델 중 선두입니다.

가격 책정 및 셀프 호스팅

프리뷰 API는 입력 토큰당 136만 달러와 출력 토큰당 418만 달러(배치 할인 50% 적용)로 책정되었습니다. Mistral은 또한 데이터 거주지(data residency) 요구 사항이 있는 조직을 위해 api.eu.mistral.ai에서 유럽 지역 엔드포인트를 제공하며, 이는 표준 목록 가격의 1.1배입니다. 자세한 가격 정보는 Mistral's API documentation에서 확인할 수 있습니다.

자체 호스팅(Self-hosting)에는 상당한 하드웨어가 필요합니다. 매개변수당 8비트 기준으로, 1조 5천억 개의 매개변수는 KV 캐시 및 실행 오버헤드를 제외하고 대략 1TB의 메모리를 차지합니다. 이는 완전 정밀도 추론(full-precision inference)을 위해서는 다중 노드 GPU 클러스터 범위에 속하지만, 양자화된 배포(quantized deployments)는 이를 상당히 줄일 것입니다. Mistral은 아직 가중치(weights)에 대한 라이선스를 발표하지 않았습니다.

실무자들에게 이것이 의미하는 바

이번 출시에서 눈에 띄는 몇 가지 점이 있습니다:

오픈 웨이트 커밋먼트가 중요합니다. 대부분의 1조 매개변수 모델은 폐쇄형 API입니다. Mistral Large 4가 오픈 웨이트라는 것(비록 라이선스가 아직 발표되지 않았더라도)은 조직이 해당 모델을 감사하고, 미세 조정(fine-tune)하며, 자체 인프라에서 실행할 수 있음을 의미합니다. 이는 호스팅된 API와는 다른 위험 프로필입니다.

RL 훈련 파이프라인이 진정한 이야기입니다. 벤치마크 수치는 경쟁력이 있지만, 더 흥미로운 세부 사항은 훈련 인프라 자체입니다: 일일 330억 개의 토큰 처리, 장기 시퀀스 전개(long-trajectory rollouts), 그리고 모델의 현재 역량 수준에 적응하는 파이프라인입니다. 이것이야말로 최첨단 연구소와 다른 곳을 구분 짓는 사후 훈련 메커니즘이며, Mistral은 유럽에서 이를 구축하고 있습니다.

멀티모달(Multimodal) 기능이 이제 기본 조건입니다. 비전 인코더(vision encoder)는 별도의 제품이 아니라 기본 모델의 일부입니다. 문서 처리, 위성 이미지 분석 또는 엔지니어링 워크플로우 도구를 구축하는 실무자에게 있어 텍스트와 이미지를 모두 처리할 수 있는 단일 모델을 갖추는 것은 스택을 상당히 단순화합니다.

자체 호스팅을 위한 하드웨어 장벽이 높습니다. 8비트 정밀도로 1TB의 메모리는 대부분의 조직에게 단일 서버 배포가 아닙니다. 양자화(Quantized) 버전이 도움이 되겠지만, 실무자들은 더 작은 증류(distilled) 변형 모델이 나올 때까지 다중 노드 설정이나 관리형 추론(managed inference)을 계획해야 합니다.

결론

Mistral Large 4는 기술적으로 진지한 출시입니다. 이는 세밀한 라우팅 아키텍처, 전용 비전 인코더, 그리고 장기 지평 에이전트 작업(long-horizon agentic tasks)을 위해 설계된 강화학습(RL) 파이프라인을 갖춘 1조 개 매개변수 MoE입니다. 벤치마크 결과는 현재의 최첨단 모델과 경쟁할 만하며, 이 규모에서 이례적인 오픈 웨이트(open-weight) 약속은 폐쇄형 API가 제공할 수 없는 주권적 배포 경로를 조직에 제공합니다.

가중치는 2026년 10월 말까지 예상됩니다. 그때까지는 Mistral Studio를 통해 미리 보기 API를 사용할 수 있으며, 전체 아키텍처 세부 정보와 사후 학습(post-training) 방법론은 가중치 공개와 함께 제공될 것입니다. 에이전트 코딩, 사이버 보안 또는 다국어 엔터프라이즈 워크플로우를 위한 최첨단 오픈 웨이트 모델을 평가하는 팀에게는 이 내용을 면밀히 추적할 가치가 있습니다. 가중치는 Mistral의 HuggingFace 페이지에 게시될 것입니다.