KVQuant: 8GB RAM 환경에서 실시간 KV 캐시 압축을 통한 70B LLM 실행

요약

KVQuant는 대규모 언어 모델(LLM) 실행 시 발생하는 메모리 병목 현상, 특히 KV 캐시의 과도한 크기 문제를 해결하기 위해 개발된 라이브러리입니다. 이 도구는 위치별 적응형 양자화 기법을 사용하여 실시간으로 KV 캐시를 압축하며, 이를 통해 8GB RAM과 같은 제한적인 환경에서도 70B와 같은 초대형 모델을 구동할 수 있게 합니다.

핵심 포인트

• LLM 실행 시 메모리 병목 현상은 모델 가중치보다 컨텍스트가 길어질수록 커지는 KV 캐시에서 주로 발생한다.
• KVQuant는 위치별 적응형 양자화(per-position adaptive quantization)를 적용하여 KV 캐시를 실시간으로 압축한다.
• 이 기술을 사용하면 4~6배의 높은 압축률을 달성하면서도, 모델 성능 저하(퍼플렉시티 증가)는 1% 미만으로 유지할 수 있다.
• 사용자는 간단한 `compressor.wrap(model)` 구문을 통해 제한된 메모리 환경에서 대형 LLM을 효율적으로 실행할 수 있다.