DeepSeek-V4-Flash의 REAP 적응 버전 ( 0xSero/DeepSeek-V4-Flash-0731-REAP )과 antirez/deepseek-v4-gguf를 영감의 원천으로 삼아, 예산 친화적인 "Mini" 빌드를 만들기 위해 표준 양자화 (quantization) 기술을 얼마나 공격적으로 사용할 수 있는지 확인해 보기로 했습니다. 당연히 재미를 위해서 말이죠. 95GB의 전체 bf16 GGUF로 시작하여 혼합 양자화 (mixed quantization) ( w2Q2K-AProjQ8-OutQ8 )를 적용한 IQ2_XXS 변형으로 압축했습니다. 극단적인 2비트 양자화 (2-bit quantization)가 복잡한 추론에 실용적일까요? 논란의 여지가 있습니다. VRAM/RAM 점유율을 40GB 이상 줄이면서도 여전히 일관성 있게 생성하나요? 물론입니다. 과학은 '왜 안 돼?'를 묻는 것이지, '왜?'를 묻는 것이 아닙니다.

프롬프트 평가 시간 (prompt eval time) = 372.26 ms / 12 tokens (토큰당 31.02 ms, 초당 32.24 tokens)
평가 시간 (eval time) = 81141.35 ms / 1667 tokens (토큰당 48.68 ms, 초당 20.54 tokens)
총 시간 (total time) = 81513.62 ms / 1679 tokens
재사용된 그래프 (graphs reused) = 1804

파일 크기:
-rw-rw-r-- 1 jabbatheduck jabbatheduck 95G Aug 4 16:10 deepseek-v4-flash-bf16.gguf
-rw-rw-r-- 1 jabbatheduck jabbatheduck 54G Aug 4 17:41 DeepSeek-V4-Flash-REAP-IQ2XXS-w2Q2K-AProjQ8-OutQ8-chat-v2.gguf
-rw-rw-r-- 1 jabbatheduck jabbatheduck 353M Aug 4 16:37 DeepSeek-V4-Flash-REAP-IQ2XXS-w2Q2K-AProjQ8-OutQ8-chat-v2-imatrix-0731.gguf

submitted by /u/giveen [link] [comments]