Huawei가 LLM(대규모 언어 모델)을 위한 KV-cache (Key-Value Cache) 압축 방법인 KVarN을 출시했습니다.

이 기술은 3~5배 더 긴 컨텍스트 길이 (Context Length)를 제공하며, FP16 처리량 (Throughput)을 능가하면서도 FP16의 정확도 (Accuracy)를 유지합니다.

vLLM에서 단 하나의 플래그 (Flag) 설정만으로 사용 가능하며, 별도의 보정 (Calibration) 과정이 필요 없습니다.

긴 컨텍스트 (Long-context) 및 에이전트 추론 (Agentic reasoning)을 위해 구축되었습니다.

논문 (Paper):
https://huggingface.co/papers/2606.03

코드 (Code):
https://github.com/huawei-csl/KVarN