[llama.cpp] 비대칭 KV q8/q4 캐시: 현재의 주의사항 및 GGML 리포지토리 내 논의

요약

llama.cpp에서 비대칭 KV 캐시 양자화 사용 시 CUDA 환경에서 성능이 저하되는 문제를 다룹니다. 컴파일 과정에서 다양한 양자화 조합을 포함하는 해결책이 제안되었으며, 메모리 절약과 정밀도 유지 효과가 확인되었습니다.

핵심 포인트

• 비대칭 KV 캐시 사용 시 CUDA 환경에서 CPU로 프롬프트 처리가 전환되는 문제 발생
• 컴파일 시 KV 캐시 양자화 조합을 포함하는 방식이 효율적인 해결책으로 제안됨
• 8/4 비트 비대칭 양자화 적용 시 메모리를 50% 이상 절약 가능
• 메모리 절약 대비 정밀도 손실은 약 1.3% 수준으로 매우 낮음