Qwen3.6-27B IQ4_XS Bloat: llama.cpp 커밋 되돌리기로 16GB VRAM 절약 (15.1GB vs 14.7GB) + KVCache 테스트

편집: 생각 끝에 이 이슈를 제출했습니다: https://github.com/ggml-org/llama.cpp/issues/22544
편집: 이 토픽에서 설명된 버그는 이제 수정되었습니다: https://github.com/ggml-org/llama.cpp/pull/22572

Qwen3.6-27B 출시와 함께, 3.5 버전의 mradermacher가 만든 우수한 IQ4_XS 양자화(14.7GB)(Qwen3.5-27B-i1-GGUF)와 비교했을 때, 현재 이미지가 부풀려진(bloated) 것을 발견했습니다. Qwen3.6에 해당하는 모델(Qwen3.6-27B-i1-GGUF)는 현재 15.1GB의 용량을 차지합니다.

IQ4_XS는 진정한 '유니콘'입니다. 모든 벤치마크에서 크기 대비 모델 품질 면에서 놀라운 비율을 제공합니다. 실제로는 적절한 컨텍스트를 가진 27B 모델을 16GB VRAM으로 구동할 수 있는 유일한 실행 가능한 옵션입니다. 이보다 낮은 양자화는 코딩 작업에 부적합합니다. 불행하게도, 14.7GB에서 15.1GB로의 증가는 16GB 카드 사용 경험을 망가뜨립니다.

원인 및 해결책 원인은 특정 llama.cpp 커밋(1dab5f5a44)입니다: GitHub 링크. 이 커밋은 attn_qkv 레이어 양자화를 최소한 Q5_K로 하드코딩합니다.

이를 수정하기 위해, 저는 소스 코드를 수정하여 원래의 IQ4_XS 레이어 양자화를 1:1로 재현했습니다. mradermacher의 imatrix(Qwen3.6-27B-i1-GGUF)를 사용하고 비교 벤치마크를 수행했습니다. 모델 품질에서 유의미한 저하를 관찰하지 못했습니다. 제 생각에는 언급된 커밋이 IQ4_XS 형식에 대한 순수한 회귀(regression)입니다.

레이어를 되돌린 제가 만든 14.7GB 모델은 여기에서 사용할 수 있습니다: 👉 cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF

Perplexity 벤치마크: 65k 컨텍스트 (-c 65536)

테스트 매개변수: pg19.txt (여기 Project Gutenberg에서 다운로드), --chunks 32*,

• -ngl 99 (명시되지 않은 경우), -fa 1*,
• -b 512*,
• -ub 128