요약

과거 여러 모델에서 Q8 KV 캐시를 테스트하며 시간 낭비를 겪었으나, Qwen3.6-27B 는 UD_Q4_K_XL F16 KV 캐시에서도 놀라운 성능을 보여줍니다. 긴 컨텍스트 (64k+) 에서 코딩 작업이 양자화된 KV 캐시에 의해 영향을 받는지, 그리고 새로운 Qwen3.5/3.6 모델의 견고성은 어떠한지에 대한 커뮤니티의 궁금증과 테스트 경험을 공유합니다.

핵심 포인트

• Qwen3.6-27B 는 UD_Q4_K_XL F16 KV 캐시 설정에서도 뛰어난 성능을 발휘함
• Q8 KV 캐시를 사용하여宝贵的 VRAM 을 추가 토큰/속도 (t/s) 확보에 활용하는지 관심이 큼
• 긴 컨텍스트 (64k+) 환경에서 코딩 작업이 양자화된 KV 캐시에 의해 영향을 받는지에 대한 검증 필요