[릴리즈] DeepSeek-V4.1-Flash-1017용 ISTA GSQ-RCO GGUFs

원문 발행 2026. 10. 24. 17:05원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

ISTA는 DeepSeek-V4.1-Flash-1017 모델을 GSQ와 RCO 방식으로 양자화하여 GGUF 파일로 공개했습니다. 이 MoE 구조의 대규모 모델은 1M 토큰 컨텍스트 창과 높은 성능을 자랑합니다. 최적화된 버전들은 주요 벤치마크에서 기본 모델 수준의 점수를 유지하며 뛰어난 효율성을 입증했습니다.

핵심 포인트

DeepSeek-V4.1-Flash-1017의 GGUF 양자화 버전이 출시되었습니다.
GSQ와 RCO 기술을 적용하여 낮은 비트 폭과 높은 성능을 달성했습니다.
총 763.2B 파라미터 규모에 1M 토큰 컨텍스트 창을 가집니다.
최적화된 버전들은 주요 벤치마크에서 기본 모델 수준의 점수를 유지합니다.

저희는 GSQ와 RCO로 양자화된 DeepSeek-V4.1-Flash-1017을 가중치당 1.75비트에서 2.25비트 수준으로 출시했습니다. DeepSeek-V4.1-Flash-1017은 희소 혼합 전문가(sparse mixture-of-experts) 모델로, 레이어당 384개의 라우팅된 전문가를 가지며, 토큰당 6개가 활성화되고, 총 763.2B 파라미터와 1M 토큰 컨텍스트 창을 가집니다. 이 모델은 FP8 밀도 가중치(dense weights)와 FP4 라우팅된 전문가로 출시되었습니다.

세 가지 양자화된 GGUF 파일에는 IQ1_M (1.75 bpw), IQ2_XXS (2.00 bpw), 그리고 IQ2_XS (2.25 bpw)가 포함되어 있으며, 백본 크기는 각각 120.7GB에서 155.2GB입니다. 비트 폭은 검색이 제어하는 551.9B 백본 파라미터에 대한 평균값입니다. 공유되는 하나의 Engram 파일(110.6 GB)에는 모델의 두 개의 Engram 조회 테이블(196.6B 파라미터)이 IQ4_NL로 포함되어 있습니다. 이 파일은 모든 빌드에서 동일하므로 한 번만 다운로드하면 됩니다. 이 테이블들은 토큰당 한 행씩 읽히기 때문에 디스크에 메모리 매핑(memory-mapped) 상태를 유지할 수 있습니다. 모든 빌드는 Strata(모델 카드 참조: https://github.com/Niko1221/Strata )가 설치된 단일 12 GB GPU에서 실행됩니다.

GSQ (Gumbel-Softmax Quantization): 학습 후 스칼라 양자화 방식으로, 그리드 할당과 그룹 스케일을 공동으로 학습하여 낮은 비트 폭에서도 스칼라와 벡터 양자화 간의 격차를 대부분 해소하면서도 표준 GGUF 유형에서 배포가 가능하도록 합니다. RCO (Riemannian Constrained Optimization): 작업 손실(task loss)에 대한 경사 하강법(gradient descent)을 통해 제약 조건별 튜닝 없이 정확한 예산 할당을 강제합니다. 여기서는 목표 비트 폭 하에서 모든 백본 텐서에 양자화 유형을 할당하며, 밀도 경로(dense path)(Q5_K부터 Q8_0까지)와 라우팅된 전문가(routed experts)(IQ1_S부터 IQ3_S까지)를 위해 별도의 사다리(ladders)를 사용합니다. 또한 추론 노력(reasoning effort) (1에서 100, 또는 low / high / max)을 포함하여 DeepSeek의 프롬프트 인코더를 정확하게 재현하는 임베디드 채팅 템플릿이 포함되어 있습니다.

결과: 2.00 bpw에서 이 모델은 평가된 모든 벤치마크에서 기본 모델과 일치합니다. 모든 수치는 추론 노력 50에서 측정되었습니다. IQ1_M (1.75 bpw, 120.7 GB 백본): AIME25는 100.00점(기존 대비 90.91점), GPQA-Diamond는 88.38점(기존 대비 90.91점), LiveCodeBench v6은 88.57점(기존 대비 89.71점)을 기록했습니다. 작업 평균 점수는 92.32점으로, 98.7%를 유지합니다.

IQ2_XXS (2.00 bpw, 138.2 GB 백본): AIME25 100.00, GPQA-Diamond 90.91, LiveCodeBench v6 89.71로, 기본 모델과 동일합니다. 과제 평균은 93.54이며, 기본 모델의 100.0%입니다.
IQ2_XS (2.25 bpw, 155.2 GB 백본): 결과는 추후 공개됩니다.
llama.cpp에서 실행하는 것은 DeepSeek-V4.1을 아직 지원하지 않으므로, 현재 GGUFs는 그곳에서 실행되지 않습니다. 대신 Strata에서 실행되며, 여기서는 12 GB VRAM을 가진 단일 NVIDIA GPU에 모든 빌드를 제공하고, 원클릭 설치 프로그램과 localhost의 OpenAI 호환 엔드포인트를 갖추고 있습니다.
양자화된 모델 링크: https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
GSQ: 논문 https://arxiv.org/abs/2604.18556 | 코드 https://github.com/IST-DASLab/GSQ
RCO: 논문 https://arxiv.org/abs/2605.00649 | 코드 https://github.com/IST-DASLab/RCO
해당 저장소는 모든 빌드에 대해 완전한 per-tensor RCO 할당(각 1008개의 텐서)을 제공합니다. 피드백은 환영합니다. 양자화할 모델 요청도 환영합니다.
ISTA Deep Algorithms and Systems Lab에서 제출했으며, /u/Loginhe가 제출했습니다 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기