K/V 캐시 (K/V cache)를 Q8에서 더 낮은 양자화 (quantization) 수준으로 낮추는 것은 품질을 거의 떨어뜨리지 않으면서도, 동일한 그래픽 카드에서 의미 있는 수준의 추가 컨텍스트 여유 공간 (context headroom)을 확보해 줍니다.

저는 이것이 실질적인 트레이드오프 (tradeoff)가 될 것이라고 예상하고 접근했습니다. 제 초기 가정은 KV 캐시를 더 많이 양자화하면, 모델 가중치 (model weights) 자체를 너무 공격적으로 양자화했을 때 눈에 띄게 나쁜 출력이 나오기 시작하는 것과 마찬가지로 "크기는 작아지지만 품질로 대가를 치르게 되는" 그런 상황 중 하나일 것이라는 점이었습니다. 그래서 품질 저하 (quality regression)를 테스트하고, 모두가 기본적으로 권장하는 것처럼 조용히 Q8로 돌아갈 준비를 하고 있었습니다. 하지만, 하지만, 하지만, 하지만!

실제로 일어난 일은 달랐습니다. Q8_0에서 Q5_1로 낮추었을 때 이론상 VRAM이 약 0.8GB 정도만 절약되었는데, 솔직히 그 자체로는 그리 큰 차이가 아닙니다. 하지만 KV 캐시는 컨텍스트 길이 (context length)에 따라 확장되기 때문에, 토큰당 절약된 그 작은 용량이 동일한 총 메모리 점유율 내에서 의미 있게 더 많은 사용 가능한 컨텍스트로 복리로 쌓이게 됩니다. 저는 동일한 하드웨어, 동일한 모델, 동일한 다른 모든 조건에서 컨텍스트 제한이 약 160K 토큰이었던 것에서 200K 토큰까지 편안하게 도달할 수 있게 되었습니다.

실제 사용 시 품질 차이는 저에게 거의 감지할 수 없는 수준이었습니다. 다만 엄격한 벤치마크 (benchmark)와 유사한 테스트를 거치지는 않았다는 점은 솔직히 말씀드립니다.

그러니 잘 모르겠습니다. KV 캐시 양자화 수준에 대해 발표된 벤치마크에 따르면, Q5가 품질 저하 측면에서 Q8과 매우 유사하며, 더 큰 품질 절벽 (quality cliffs)은 Q4 이하의 더 낮은 단계에서 나타난다는 아이디어를 뒷받침하고 있습니다.

제출자: /u/Mr-serial_killer
[link] [comments]