저는 느린 Qwen 3.6 27B 로컬 에이전트의 문제를 해결하기 위해 Claude와 함께 몇 가지 조사를 진행하고 있었는데, Claude가 우려했던 부분 중 하나는 Q4 K 및 V 캐시 (KV cache) 설정이었으며, 둘 다 Q8을 권장했습니다. 또한, Llmfan heretic 튜닝의 주장(지능 손실이 믿을 수 없을 정도로 적음)이 매우 인상적으로 들렸기에 이를 테스트해보고 싶었습니다. 그 과정에서 표준 모델의 iq4_NL 양자화 (quant)에서 heretic 빌드의 q_4_M으로 전환했습니다. 기술적으로 세 가지 변화가 동시에 일어났기 때문에 무엇이 가장 큰 변화를 일으켰는지 말하기는 어렵지만, 제 모델이 훨씬 더 똑똑해졌습니다. 유사한 작업들을 수행할 때, 제 에이전트는 도구 (tools)를 더 효과적으로 사용하고, 회상 (recall) 능력이 더 좋아졌으며, 시스템 프롬프트 (system prompt)의 지침을 더 잘 따릅니다. 그 차이가 정말 극명해서 처음 3.5에서 3.6으로 넘어갔을 때 느꼈던 도약처럼 느껴질 정도입니다. 모델 레벨이나 KV 레벨 모두에서 양자화 수준을 낮추면 훨씬 더 좋아질 것이라 확신하지만, 특히 Apple 칩을 사용하는 분들을 위해 제 경험을 공유하고 싶었습니다. Claude는 Apple이 IQ 양자화 (IQ quant)와 Q4 KV에서 어려움을 겪는다고 단언하며 제 시스템이 더 빠르게 작동할 것이라 생각하여 이러한 권장 사항을 제시했지만, 실제로는 속도가 거의 비슷하면서도 매우 유사한 메모리 점유율 (memory footprint)로 훨씬 더 똑똑한 에이전트를 얻게 되었습니다. /u/Jordanthecomeback 님이 제출함 [link] [comments]