아마 여러분 대부분은 llama.cpp의 시작 옵션으로 -ctk q8_0 -ctv q8_0 / -ctk q4_0 -ctv q4_0 이외의 다른 것을 사용하면, 최소한 CUDA 환경에서는 GPU 대신 CPU에서 프롬프트 처리 (prompt processing)가 이루어진다는 사실을 알고 계실 것입니다. 예를 들어, 자주 권장되는 조합인 -ctk q8_0 -ctv q4_0를 사용할 때 초당 토큰 처리량 (pps)이 급격히 떨어집니다.

저는 이 문제에 대해 적절한 LLM과 논의하였으며, LLM은 llama.cpp의 CUDA 소스 코드에 약간의 수정을 추가하거나, 시간이 매우 오래 걸리는 cmake -DGGML_CUDA_FA_ALL_QUANTS=ON .. 명령어를 사용할 것을 제안했습니다.

하지만 우연히도, GitHub의 sanmai 사용자가 작은 평가 (eval)를 수행하였고, FA_ALL_QUANTS를 사용하지 않더라도 컴파일 과정 중에 KV 캐시 양자화 (kv cache quant) 조합을 포함하도록 제안했는데, 이는 매우 좋은 해결책이 될 것입니다.

논의는 이곳에서 진행 중이며, 해당 평가 결과에 따르면 비대칭 8/4 비트 KV 양자화를 사용할 경우 f16/f16 대비 메모리를 절반 이상 절약하면서도 정밀도 (precision) 손실은 단 1.3%에 불과하다는 점이 확인되었으므로 읽어볼 가치가 있습니다.