개요
NVIDIA의 DeepSeek-V4.1-Flash-1017-NVFP4는 에이전트 시스템, 챗봇, RAG 및 기타 AI 애플리케이션 배포를 위해 설계된 양자화(quantized), 멀티모달 MoE 언어 모델입니다. 이는 DeepSeek-V4.1-Flash-1017을 기반으로 하며, Compressed Sparse Attention 2를 사용한 Causal Encoder-Decoder 아키텍처를 채택했습니다. 유지 관리자: nvidia. 명시된 라이선스는 MIT이며, 출처는 상업적 및 비상업적 사용을 설명합니다.
최적 사용 사례
텍스트 및 이미지 입력과 텍스트 생성; 챗봇 및 RAG 애플리케이션; 문서화된 vLLM 구성을 통한 도구 호출을 포함한 AI 에이전트 배포. 평가는 과학적 추론, 장문맥 검색(long-context recall), 과학 코딩, 명령어 준수(instruction following), 시각적 이해, 터미널 기반 에이전트 작업을 다룹니다.
제한 사항
기본 모델은 편향되거나 유해한 응답, 부정확성, 누락 또는 관련성이 떨어지고 중복되는 텍스트를 생성할 수 있습니다. 이 체크포인트는 MXFP4 Engram 지원이 포함된 vLLM 빌드를 필요로 하며, 일반 vLLM 이미지는 해당 Engram 테이블을 로드할 수 없고 SGLang은 검증되지 않았습니다. Speculative decoding은 수행되지 않았습니다. 의도된 런타임과 애플리케이션은 작업별 테스트를 통해 검증해야 합니다. 출처는 벤치마크 결과를 보고하지만, 이 체크포인트가 원본 정밀도 기준선보다 전반적으로 우수함을 입증하지는 않습니다.
비교
제공된 관련 모델 DeepSeek-V4.1-Flash-NVFP4는 다른 버전입니다: 이름에서 1017 접미사가 생략되었으므로, 해당 체크포인트나 결과가 상호 교환 가능하다고 가정하지 마십시오. 명시된 MXFP4 출처 기준선과 비교했을 때, 이 체크포인트의 보고된 점수는 GPQA Diamond에서 92.93 대 92.77, AA-LCR에서 80.19 대 80.41, SciCode에서 57.32 대 57.58, IFBench에서 76.47 대 76.33, MMMU-Pro에서 78.73 대 78.38, Terminal-Bench 2.1에서 81.11 대 81.81이었습니다. 이는 일반적인 승자를 입증하는 것이 아니라 벤치마크별 결과입니다.
기술 사양
트랜스포머 모델, DeepseekV41ForCausalLM
; 인과적 인코더-디코더 MoE 및 압축 희소 어텐션 2. 백본은 총 552B 파라미터를 가지며, 프리필(prefill) 중에는 8B가 활성화되고 디코드(decode) 중에는 16B가 활성화되며, 여기에 196B의 Engram 조건부 메모리가 추가됩니다. 양자화는 Model Optimizer v0.48.0rc0을 사용합니다: 라우팅된 전문가 가중치와 활성화 값은 NVFP4 W4A4이며 그룹 크기는 16입니다; Engram 조회 테이블은 MXFP4를 사용합니다. 다른 구성 요소들은 적용 가능한 경우 MXFP8을 포함하여 원본 정밀도를 유지합니다. 전문가 가중치 변환은 양자화 해제된 값을 보존했지만, Engram 변환은 손실적(lossy)입니다. 따라서 동일한 추론 출력을 보장하지 않습니다. 이 체크포인트는 48개의 safetensors 샤드에 약 400 GiB 크기입니다. 지원되는 하드웨어는 NVIDIA Blackwell이며, 선호하는 OS는 Linux입니다. 보고된 추론은 네 개의 NVIDIA GB300 GPU에서 vLLM을 사용하여 수행되었습니다. 평가 점수는 백분율로 표시됩니다: MXFP4 원본 / 이 NVFP4 체크포인트—GPQA Diamond 92.77 / 92.93; AA-LCR 80.41 / 80.19; SciCode 57.58 / 57.32; IFBench 76.33 / 76.47; MMMU-Pro 78.38 / 78.73; Terminal-Bench 2.1 81.81 / 81.11. 학습 데이터 세부 정보는 공개되지 않았습니다. 보정(Calibration)은 CNN/DailyMail과 선택된 Nemotron-Post-Training-Dataset-v2 서브셋에서 총 1,024개의 샘플을 사용했습니다.
모델 입력 및 출력
입력
텍스트와 이미지를 지원하며, 이미지 입력은 RGB로 지정됩니다. 모델 카드에 따르면 최대 컨텍스트 길이는 1백만 토큰입니다. 텍스트 및 이미지 입력은 문서화된 vLLM 명령으로 검증되었습니다. 도구 호출(Tool calling)은 나열된 vLLM 플래그를 사용하여 활성화할 수 있습니다.
출력
일차원 시퀀스로 생성되는 문자열 형태의 텍스트입니다.
시작하기
VLLM_ENGINE_READY_TIMEOUT_S=3600 vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 \
--tensor-parallel-size 4 \
--tokenizer-mode deepseek_v41 \
...
MXFP4 Engram 지원이 포함된 vLLM 빌드를 사용해야 합니다. 기본(stock) vLLM 이미지는 이 체크포인트를 로드할 수 없습니다. 문서화된 명령어는 네 개의 GB300 GPU와 함께 사용되었습니다. 도구 호출의 경우, --enable-auto-tool-choice --tool-call-parser deepseek_v41을 추가하십시오.
.
자주 묻는 질문
질문: 이 체크포인트는 어떤 런타임을 지원하나요?
제공된 문서는 MXFP4 Engram 지원을 통해 vLLM을 지원합니다. 기본(stock) vLLM 이미지는 체크포인트의 Engram 조회 테이블을 로드할 수 없습니다. SGLang은 검증되지 않았습니다.
Q: 지정된 하드웨어 및 운영 체제는 무엇인가요?
A: NVIDIA Blackwell GPU와 Linux가 지정되었습니다. 보고된 추론(inference)은 네 개의 NVIDIA GB300 GPU를 사용했습니다.
Q: 이미지를 받을 수 있나요?
A: 예. 문서화된 입력에는 텍스트와 RGB 이미지가 포함되며, 명시된 vLLM 명령으로 텍스트 및 이미지 입력 모두가 검증되었습니다.
Q: 컨텍스트 창 크기는 어느 정도인가요?
A: 모델 카드에는 최대 100만 토큰의 컨텍스트 길이가 명시되어 있습니다.
Q: 체크포인트가 도구 호출(tool calling)을 지원하나요?
A: vLLM 사용 설명에는 --enable-auto-tool-choice --tool-call-parser deepseek_v41로 활성화하도록 명시되어 있습니다.
Q: 체크포인트의 라이선스는 무엇인가요?
A: 제공된 모델 정보에 따르면 MIT이며, 상업적 및 비상업적 사용을 설명합니다.
Q: 추측 디코딩(speculative decoding)과 SGLang이 검증되었나요?
A: 아니요. 추측 디코딩은 수행되지 않았으며, SGLang은 이 체크포인트로 검증되지 않았습니다.
