Huawei, LLM을 위한 KV-cache 압축 방법론 KVarN 공개

요약

Huawei가 LLM의 컨텍스트 길이를 3~5배 확장하는 KV-cache 압축 기술인 KVarN을 공개했습니다. FP16 수준의 정확도를 유지하면서도 높은 처리량을 제공하며, 별도의 보정 없이 vLLM에서 즉시 사용 가능합니다.

핵심 포인트

• KV-cache 압축을 통해 컨텍스트 길이를 3~5배 확장
• FP16 수준의 정확도 유지 및 처리량 성능 확보
• vLLM에서 플래그 설정만으로 간편하게 적용 가능
• 긴 컨텍스트 및 에이전트 추론 최적화 설계