[릴리즈] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: 파라미터당 1비트의 763B 모델

원문 발행 2026. 11. 02. 23:33원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

DeepSeek-V4.1-Flash-1017 Coder의 GSQ 및 RCO 압축 빌드가 출시되었습니다. 이 버전은 MoE 구조에서 라우팅 전문가 절반을 제거하여 모델 크기를 대폭 줄였습니다. 그 결과, 트랜스포머 가중치 크기가 138.2 GB에서 72.1 GB로 감소했으며, LiveCodeBench v6 등 주요 성능 지표를 유지했습니다.

핵심 포인트

GSQ와 RCO 기법을 활용하여 모델의 전문가(expert) 절반을 제거하고 압축함.
트랜스포머 가중치 크기가 138.2 GB에서 72.1 GB로 크게 감소했습니다.
MoE 구조의 라우팅 전문가는 레이어당 384개 중 192개가 유지됩니다.
SWE-bench Verified 등 실제 코드 생성 성능을 성공적으로 유지했습니다.

저희는 GSQ와 RCO로 압축된 DeepSeek-V4.1-Flash-1017 코더(Coder) 빌드를 출시했습니다. 이 버전에서는 모델에 포함된 라우팅 전문가(routed experts)의 절반이 제거되었습니다. DeepSeek-V4.1-Flash-1017은 희소 혼합 전문가(sparse mixture-of-experts, MoE) 모델로, 레이어당 384개의 라우팅 전문가를 가지며, 토큰당 6개가 활성화됩니다. 전체 파라미터는 763.2B개이며, 이 중 551.9B가 트랜스포머(transformer)에 포함되어 있습니다.

전문가가 제거된 GGUF 파일에는 다음과 같은 내용이 담겨 있습니다: 모든 레이어에서 384개 전문가 중 192개가 유지되며, 이는 비제거 버전의 IQ2_XXS 빌드 대비 트랜스포머 가중치 크기가 138.2 GB에서 72.1 GB로 줄었습니다. 파라미터당 1비트 기준으로 계산했을 때, 원래 모델의 551.9B 트랜스포머 파라미터에 대한 72.12 GB는 1.05비트를 나타내며, 이는 반올림하여 1비트로 처리됩니다. 제거된 전문가들은 0비트에 해당합니다. 개별 가중치 중 1비트 미만으로 저장되는 것은 없으며, 코더가 유지하는 280.1B 파라미터는 평균 2.06비트를 차지합니다. 공유 Engram 파일(110.6 GB)과 비전 프로젝터(vision projector)는 비제거 버전의 릴리즈와 동일한 파일이므로, 한 번만 다운로드하면 됩니다.

GSQ (Gumbel-Softmax Quantization): GSQ는 사후 학습 스칼라 양자화(post-training scalar quantization) 기법으로, 그리드 할당과 그룹 스케일을 공동으로 학습합니다. 이 방식은 낮은 비트 폭에서도 스칼라 양자화와 벡터 양자화 사이의 대부분 간극을 메우면서도 표준 GGUF 유형에서 배포가 가능하도록 합니다.

RCO (Riemannian Constrained Optimization): RCO는 작업 손실(task loss)에 대한 경사 하강법(gradient descent)을 통해 정확한 예산(exact budgets)을 강제합니다. 이 기법은 레이어별로 어떤 전문가를 유지할지 선택하며, 각 레이어당 하나의 정확한 예산 제약 조건 하에서 비제거 모델 대비 KL 발산을 최적화합니다.

왜 레이어당 단일 예산인가: GGUF는 전체 모델에 대해 단일 전문가 개수를 저장하기 때문에, 모든 레이어는 정확히 동일한 수의 전문가를 유지해야 합니다. 만약 레이어별로 전문가 수가 불균형하면, 메모리 절감으로 얻은 공간을 되돌려주는 패딩(padding)이 필요하게 됩니다. RCO는 각 레이어의 예산을 하드 제약 조건(hard constraint)으로 취급하여 모든 최적화 단계에서 이를 정확히 유지하는 동시에, 전체 모델에 대한 단일 손실 함수를 통해 레이어들을 공동으로 최적화합니다. 만약 페널티 공식(penalty formulation)을 사용한다면, 예산에 근사적으로만 도달할 것이며, 레이어별로 튜닝된 계수(coefficient)가 필요하게 됩니다.

LiveCodeBench v6 결과는 베이스 모델 대비 88.57(기존 89.71)을 기록했으며, SWE-bench Verified는 77.00 대 81.20을 유지하며 94.8%의 성능을 보였습니다. SWE-bench Verified는 실제 저장소(repository)에 걸쳐 장기적인 에이전트 추적(agentic trajectories)을 실행하며, 오류가 턴(turn) 전반에 걸쳐 누적될 때 예상되는 바와 같이 단일 문제 코드 생성보다 용량 감소를 덜 잘 견딥니다. 실제 예시로는 Coder가 작성한 각각의 단일 HTML 파일이 있습니다: 자전거를 타는 왜가리(pelican)의 애니메이션 SVG, three.js 복셀 탑 정원, 그리고 플레이 가능한 1인칭 복셀 샌드박스입니다.

비디오를 포함한 전체 게시물은 다음을 참조하십시오: https://x.com/mhelcig/status/2117257900863156518

링크 (Coder, expert-pruned): https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF 양자화 모델(unpruned): https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF GSQ: 논문 https://arxiv.org/abs/2604.18556 | 코드 https://github.com/IST-DASLab/GSQ RCO: 논문 https://arxiv.org/abs/2605.00649 | 코드 https://github.com/IST-DASLab/RCO

해당 저장소는 완전한 텐서당(per-tensor) RCO 할당을 제공합니다. GGUF는 llama.cpp b11870 이상 버전 및 Strata에서 실행됩니다. Coder 빌드는 실험적인 릴리즈이므로 피드백을 환영하며, 특히 보정 혼합(calibration mixture)에 반영되지 않은 기능에 대한 의견을 부탁드립니다. 모델의 양자화 또는 가지치기(prune) 요청도 환영합니다. ISTA Deep Algorithms and Systems Lab에서 /u/Loginhe가 제출했습니다 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기