요약 (TL;DR) 버전

• 두 모델 모두에서 q8/q8은 비용이 거의 들지 않음
• Qwen에서는 q4/q4를 사용할 수 있으나, Gemma에서는 치명적임
• turbo4는 때때로 q4_0보다 약간 더 좋거나 약간 더 나쁨
• turbo3 및 turbo2는 캐시를 전례 없는 수준으로 압축할 수 있게 해주지만, 그에 따른 대가를 톡톡히 치르게 될 것임
• K는 때때로 V보다 더 민감하고, 때로는 덜 민감하며, 때로는 대칭을 이룸

전체 분석
미묘한 차이, 주의 사항, 확대 가능한 그래프, 그리고 어떤 모델로든 이 그래프들을 재현할 수 있는 소프트웨어:
https://github.com/crusaderky/pixi-llm-recipes/tree/main/perplexity#readme
제출자: /u/crusaderky
[link] [comments]