요약

본 기사는 Qwen3.6-27B 모델의 VRAM 최적화 문제를 다루며, 특정 `llama.cpp` 커밋이 모델 크기를 불필요하게 증가시켜 16GB VRAM 환경에서 사용성을 떨어뜨린 사례를 지적합니다. 작성자는 해당 커밋을 되돌리고(reverting) 기존의 고효율 양자화 방식인 IQ4_XS를 복원하여, Qwen3.6-27B 모델을 14.7GB로 최적화했습니다. 이 커스텀 모델은 16GB VRAM 환경에서 높은 성능과 함께 최대 110k 컨텍스트 길이까지 처리할 수 있음을 입증했습니다.

핵심 포인트

• Qwen3.6-27B의 기본 배포 버전이 특정 `llama.cpp` 커밋으로 인해 크기가 증가(14.7GB $\rightarrow$ 15.1GB)하여 16GB VRAM 환경에서 사용성이 저하됨.
• 문제의 원인은 `attn_qkv` 레이어 양자화가 최소 Q5_K로 하드코딩된 특정 `llama.cpp` 커밋에 기인함.
• 작성자는 해당 문제를 해결하기 위해 커스텀 모델을 제작하여, IQ4_XS와 같은 고효율 양자화를 복원하고 16GB VRAM에서 14.7GB 크기를 유지하는 데 성공함.
• 최적화된 모델은 Perplexity 테스트를 통해 16GB VRAM 내에서 최대 110k 컨텍스트 길이까지 안정적으로 처리할 수 있음을 보여줌.