Mistral Large 4(별칭 Le Chonk)는 Mistral의 멀티모달(multimodal), 다국어(multilingual), Mixture-of-Experts (MoE) 모델입니다. 이 모델은 텍스트와 이미지를 입력으로 받아 텍스트를 생성합니다. 총 약 1T 파라미터, 활성 파라미터는 49B이며, 컨텍스트 창 크기는 1M 토큰입니다.
이 모델은 두 가지 공식 변형(variants)으로 출시되었습니다:
또한 Unsloth와 llama.cpp 팀에 의해 생성된 GGUF 파일도 있습니다. 이 파일들은 Mistral Ecosystem Open-Weight License (모델-서비스 제공(model-as-a-service offerings)에 대한 제한 사항을 설정하는 MIT 파생 라이선스) 하에 배포됩니다.
Mistral Large 4는 사이버 보안, 코딩 에이전트, 멀티모달리티 분야에서 특히 강력합니다. 본 게시물에서는 이 모델의 작동 방식, 기능, 아키텍처 등에 대해 살펴봅니다!
Mistral Large 4는 대규모 전문가 풀(large pool of experts)과 희소 어텐션(sparse attention), 그리고 Pixtral vision encoder를 결합했습니다. 언어 모델은 각 토큰에 대해 소수의 전문가 그룹을 선택하며, 그 어텐션 인덱서(attention indexer)는 어떤 이전 토큰 위치에 주의를 기울일지 선택합니다. 이들은 두 가지 다른 형태의 희소성으로, 하나는 피드포워드 네트워크(feed-forward networks)를 선택하고 다른 하나는 컨텍스트 위치를 선택합니다.
모든 체크포인트는 Mistral Large 4 컬렉션에서 찾을 수 있습니다.
Mistral Large 4는 모델에게 오픈 소스 소프트웨어의 실제 취약점을 재현한 다음 패치하도록 요청하는 Artificial Analysis Cyber Index 테스트에서 82% 점수를 받았습니다. Mistral에 따르면, 여러 폐쇄형 최첨단(closed frontier) 모델들은 작업을 거부하기 때문에 같은 테스트에서 거의 0점에 가까운 점수를 기록합니다. 이는 방어자들에게 매우 중요한데, 취약점을 수정하려면 보통 해당 취약점을 재현해야 하기 때문입니다. Mistral의 내부 테스트에서도 Mistral Large 4는 모델이 명시적으로 학습하지 않은 분야인 악성코드 분석(malware analysis), 취약점 우선순위 지정(vulnerability prioritisation), 탐지 규칙 작성 등에 유용했습니다.
Mistral은 주로 방어 보안 작업에 모델을 배치합니다. 취약점 연구나 사고 대응(Incident Response) 시에는 공격처럼 보이는 내용이 모델 입력으로 자주 나타날 수 있기 때문에, 폐쇄형 필터가 이를 차단할 수 있습니다. API에 의존하는 팀은 또한 사고 진행 중에 접근 권한을 잃을 수도 있습니다. 결정적으로, 오픈 웨이트 모델은 사용 정책과 배포 모두를 사용자 통제 하에 둡니다. 그럼에도 불구하고, 이 모델은 유해한 요청을 거부합니다. JailbreakBench, StrongREJECT, AgentHarm 같은 사이버 프롬프트에서 평균 거부율은 다른 어떤 오픈 웨이트 모델보다 높습니다.
커뮤니티 빌더에게 Mistral Large 4와 같은 오픈 웨이트 모델은 수많은 다운스트림 사용 사례를 열어줍니다. 코드베이스, 충돌 로그(crash logs), 악성코드 샘플 등을 중심으로 자체 사이버 시스템을 구축할 수 있습니다. 예를 들어, TRL을 사용하여 Mistral Large 4의 추적 기록으로 코드를 패치하는 더 작은 모델들을 미세 조정할 수 있습니다. 실제로 재현 후 패치 작업(reproduce-then-patch tasks)은 검증 가능한 보상(verifiable reward)을 사용하므로, 더 작은 보안 모델을 추가적으로 강화학습(RL) 할 수 있는 RL 환경과 잘 맞습니다. 또한 오픈 웨이트는 연구자들이 제공업체의 설명에 의존하는 대신 모델의 거부 행동을 직접 측정할 수 있게 합니다.
요약하자면, ML4가 가진 사이버 역량은 오픈 소스 커뮤니티에 엄청난 활력을 불어넣습니다.
저희는 Pierre Stock과 함께 이 모델의 사이버 역량에 대해 인터뷰를 진행했으며, 여기에서 시청하실 수 있습니다.
Mistral Large 4의 텍스트 디코더는 72개의 레이어, 6,144의 히든 차원(hidden dimension), 그리고 64개의 어텐션 헤드(attention heads)를 가지고 있습니다. 이 모델의 어텐션 블록은 Multi-head Latent Attention (MLA)과 DeepSeek Sparse Attention (DSA) 인덱서(다른 모델인 GLM 5.3 등에서 사용되는 방식)를 결합합니다. MLA는 압축된 KV 표현을 유지하고, DSA는 각 쿼리에 대해 최대 2,048개의 키 위치를 선택합니다.
Attention
각 디코더 블록에는 3:1의 RoPE 대 NoPE 패턴이 있습니다. 즉, 3개의 디코더 레이어가 RoPE를 사용하고 네 번째 레이어는 NoPE를 사용합니다. 이 모델은 또한 레이어 전반에 걸쳐 KV 상태(KV state)를 공유합니다.
첫 번째 디코더 레이어는 밀집 피드-포워드 네트워크(dense feed-forward network)를 사용합니다. 나머지 71개 레이어는 MoE 블록을 사용하며, 여기서 소프트맥스 라우터(softmax router)가 각 토큰에 대해 128개의 전문가 중 네 개를 선택합니다. 선택된 전문가 외에도 하나의 공유 전문가(shared expert)가 항상 작동하여, 토큰당 총 5개의 활성 전문가가 됩니다.
RoPE와 관련하여, Mistral은 주파수별로 학습된 승수(learned multiplier)를 하나 사용하는 YaRN 스케일링 RoPE인 LeRope를 사용합니다.
Mistral Large 4는 1.6B Pixtral 인코더를 채택했습니다. Pixtral은 30개 레이어, 2,048의 은닉 차원(hidden dimension), 16개의 어텐션 헤드(attention heads)를 가지고 있습니다. 이는 14 × 14 패치와 공간 병합 크기(spatial merge size)가 2인 패치-병합 프로젝터(patch-merge projector)를 사용합니다. 인코더 파이프라인은 아래에서 확인할 수 있습니다.
Mistral Large 4는 코딩, 사이버 보안, 멀티모달 이해(multimodal understanding), 에이전트 워크플로우(agentic workflows) 전반에 걸쳐 강력한 벤치마크 성능을 제공하며, 이를 오픈 가중치 생태계(open-weight ecosystem)의 경쟁력 있는 추가 요소로 자리매김하고 있습니다. 2026년 10월 29일 기준으로 이 모델은 Artificial Analysis Intelligence 지수에서 다섯 번째로 우수한 오픈 가중치 모델입니다.
코딩 부문에서 ML4는 DeepSWE v1.1에서 61.7%, SWE-Atlas-QnA에서 59.4%, 그리고 **Terminal-Bench 4에서 28.3%**를 달성했습니다. 종합된 **코딩 에이전트 지수(Coding Agent Index) 점수인 49.8%**는 DeepSeek V4 Pro 0813과 Qwen3.8 Max보다 높은 수치입니다.
ML4의 코딩 능력은 지식 작업(knowledge work)까지 확장되며, 비즈니스 워크플로우 및 장기적 전문 작업(long-horizon professional tasks)을 평가하는 AutomationBench에서 59.9%, 그리고 AA-Briefcase에서 1,393 Elo를 기록했습니다.
사이버 보안은 Mistral Large 4의 두드러진 역량 중 하나로, 실제 취약점 평가 및 보안 대회 과제 전반에 걸쳐 강력한 결과를 보였습니다. 세 가지 벤치마크가 이 모델의 사이버 성능을 강조합니다:
Artificial Analysis Cyber Index: ML4는 모델이 소프트웨어 취약점을 찾고 수정하는 능력을 평가한 이 독립적인 평가에서 전 세계 상위 5개 모델 중 하나로 순위를 차지했습니다. 취약점 재현 및 패치 (Vulnerability reproduction and patching): 이 테스트 인덱스 내에서 보고된 최고 점수인 **82%**를 달성했습니다. 이 작업은 오픈 소스 소프트웨어의 실제 취약점을 재현하고 이를 패치하는 것을 요구하며, 조사(investigation)와 수정(remediation) 능력을 모두 테스트합니다. Cybench: ML4는 보안 경진대회에서 가져온 40개의 챌린지로 구성된 일련의 문제 중 **93%**를 해결하여 실무적인 보안 문제에 대한 강력한 성능을 입증했습니다.
Mistral Large 4는 또한 Lakera의 B3 벤치마크에서 93.3%의 공격 저항력을 보여 프롬프트 주입(prompt-injection) 공격에 대한 견고성 증거를 추가했습니다. 벤치마크 외적으로, 내부 테스트에서는 악성코드 분석, 취약점 우선순위 지정, 탐지 규칙 생성에서 유망한 결과를 보였습니다.
Mistral Large 4는 transformers, vLLM 및 llama.cpp에 대한 Day-0 지원과 함께 제공됩니다. GGUF 양자화(quants)는 GGUF와 llama.cpp 팀으로부터 이용 가능합니다. 우리는 추론 엔드포인트(Inference Endpoints)를 통해 원격 배포하는 옵션과, 추론 공급자(Inference Providers)를 통한 서버리스 추론 사용을 제공합니다.
Transformers 구현체는 대화 및 이미지 입력을 준비하는 AutoProcessor와 함께 AutoModelForMultimodalLM을 제공합니다. Mistral Large 4는 추론 노력(reasoning effort)으로 low, medium, high를 사용할 수 있습니다. 기본값은 high이며, 추론 기능을 비활성화할 수 없다는 점에 유의하여, reasoning_effort: none을 사용하더라도 여전히 high가 적용됩니다.
모델을 실행하려면 transformers 패키지를 업그레이드하세요.
pip install --upgrade transformers
import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig
distributed_config = DistributedConfig(
...
위 스크립트는 이를 script.py라는 파이썬 파일로 저장한 후 다음 명령어를 사용하여 실행할 수 있습니다.
torchrun --nproc-per-node 8 script.py
vLLM은 메모리 사용량이 적고 NVIDIA Blackwell GPU가 필요한 고품질 NVFP4 Mistral Large 4 체크포인트를 지원합니다. 또한, vLLM을 통해 추가적인 속도 향상을 위해 DSpark drafter를 함께 제공합니다. 서버는 다음과 같이 실행할 수 있습니다:
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--config-format mistral \
--load-format mistral \
...
서버가 실행되면 다음 명령어를 사용하여 추론을 수행할 수 있습니다.
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'
Llama.cpp와 Llama App은 이미 Mistral Large 4를 지원합니다.
다음 명령어로 Llama App을 설치할 수 있습니다:
curl -LsSf https://llama.app/install.sh | sh
그런 다음 모델 ID 뒤에 양자화 접미사를 명시하여 다음과 같이 서버를 시작할 수 있습니다:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
여기에 FP8 체크포인트에서 파생된 양자화 모델이 포함된 저장소가 있으며, 이 버전은 공식 NVFP4 저장소에서 변환한 NVFP4 버전입니다.
서버가 시작되면 localhost:9931로 이동하여 내장 WebUI를 통해 채팅할 수 있습니다. 웹 UI에서는 추론을 위해 이미지를 추가하고 추론 레버(reasoning lever)를 조정할 수 있습니다.
또한 다음과 같이 서버에 쿼리할 수도 있습니다. 멀티모달리티(multimodality), 도구 호출(tool calls) 등에 대한 API 참조를 확인해 보세요.
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
...
이미지-텍스트 추론은 다음과 같이 실행할 수 있습니다.
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <your-key>" \
...
llama.cpp 팀은 다음과 같은 양자화 모델을 제공합니다: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, 그리고 추가 변환을 위한 BF16입니다. 2비트 양자화 모델은 512GB의 통합 RAM을 가진 단일 Apple Silicon Ultra 컴퓨터에서 실행됩니다. 나머지 모델들은 분산 추론(distributed inference)이 필요합니다. 여러 NVIDIA 또는 AMD 카드로도 실행할 수 있습니다.
단일 M3 Ultra에서 Q2_K를 실행했을 때, 약 90 토큰/초의 prefill 처리량과 15 tok/s의 생성 속도를 얻었습니다. 4개의 RTX6000 Pro로 테스트한 결과는 다음과 같습니다:
- NVFP4: 컨텍스트 크기 32K, prefill 130-590 t/s, 생성 속도 ~10 t/s
- IQ2_XXS: 컨텍스트 크기 800K. 짧은 컨텍스트 크기에서는 prefill이 500 tok/s이고 생성은 30 tok/s로 작동합니다. 하지만 긴 컨텍스트를 사용할 경우 성능은 129 tok/s (prefill) 및 3 tok/s (생성)로 떨어집니다.
또한 TRL을 사용하여 Mistral Large 4의 파인튜닝(fine tuning)에 대한 Day 0 지원도 제공합니다. 할 일은 transformers, trl, 그리고 peft를 최신 버전으로 업그레이드하는 것뿐입니다.
pip install --upgrade transformers trl peft
다음 예제에서는 모델을 다국어 사고(multilingual thinking)를 수행하도록 훈련합니다. 파인튜닝된 모델은 시스템 프롬프트가 요청하는 언어로 추론할 수 있게 됩니다!
이 스크립트는 8개의 B300 노드에서 FP8 변형으로 실행됩니다.
# torchrun --nproc-per-node 8 sft.py
import os
from datasets import load_dataset
...
Mistral Large 4는 Inference Endpoints에서도 사용할 수 있으며, 8개의 NVIDIA H200 GPU에서 바로 배포 가능한 레시피가 준비되어 있습니다. 이 레시피는 vLLM을 실행하며, FP8 가중치(weights)를 텐서 및 전문가 병렬 처리(tensor and expert parallelism)를 사용하여 8개 GPU 전체에 분산합니다. 또한 모델의 내장 DSpark draft head를 사용하여 추측 디코딩(speculative decoding)을 통해 더 빠른 생성을 구현합니다. 이 시스템은 최대 131K 토큰의 컨텍스트를 처리하며 한 번에 최대 16개의 요청을 처리할 수 있고, 다음과 같은 결과를 관찰했습니다:
- 단일 요청: 1K 토큰 프롬프트의 첫 토큰까지 걸리는 시간은 약 0.6초이며, 생성 속도는 ~65 tok/s입니다. DSpark가 초안(draft)을 받아들이는 채팅 프롬프트에서는 120–138 tok/s에 도달합니다.
- 긴 프롬프트: 한 번에 네 개의 16K 토큰 프롬프트를 prefill 할 경우, 총 약 4,300 tok/s로 처리되며 첫 토큰까지 걸리는 시간은 8~9초입니다.
- 부하 상태(Under load): 1,000개의 ShareGPT 대화에 걸쳐 총 약 480 tok/s의 생성을 달성했습니다.
다음과 같이 hf CLI를 사용하여 배포할 수 있습니다:
hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4
엔드포인트가 실행되면, 엔드포인트 URL과 Hugging Face 토큰을 사용하여 OpenAI와 호환되는 API를 쿼리할 수 있습니다. reasoning_effort 필드는 모델이 답변하기 전에 추론하는 양을 제어하며, low, medium, 또는 high (기본값)로 설정할 수 있습니다.
curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
-H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
-H "Content-Type: application/json" \
...
답변은 choices[0].message.content에서, 추론 과정은 choices[0].message.reasoning에서 반환됩니다. 이 엔드포인트는 또한 표준 Chat Completions 필드를 통해 도구 호출(tool calls), 구조화된 출력(structured outputs), 이미지 입력(image inputs), 스트리밍(streaming)을 지원합니다.
Dell AI 서버(NVIDIA H200, B200, GB200 또는 GB300)에서 가장 쉽게 사용을 시작하는 방법은 dell-ai CLI를 설치하는 것입니다:
pip install dell-ai && dell-ai login
그리고 이를 사용하여 예를 들어 NVIDIA B300 노드에서 Mistral Large 4에 대한 최적화된 레시피를 실행할 수 있습니다.
dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--engine docker \
--platform-id xe9780-nvidia-b300 \
...
이 릴리스에 대한 자세한 내용은 Dell Enterprise Hub (DEH)에서 확인할 수 있습니다.
