WakeKV: 생각이 바뀌는 헤드(Head)를 위한 반응적이고 가역적인 KV 저장소

대부분의 KV-캐시 압축 방법은 어텐션 헤드(attention head)를 한 번 분류하며, 이는 오프라인 또는 프리필(prefill) 중에 이루어지며 생성 과정 전반에 걸쳐 이 분류를 고정합니다. 세 가지 모델(1.5B~8B)과 세 가지 레짐(needle retrieval, 긴 사고 사슬(long chain-of-thought), 다중 턴 리콜(multi-turn recall))에 걸쳐, 우리는 네 가지 모델-레짐 조합에서 헤드 동작을 측정했으며, 대부분의 헤드가 생성 과정 중 최소 한 번은 읽기 행동(reading behavior)을 변경한다는 것을 발견했습니다. 우리는 WakeKV를 소개합니다. 이는 냉각되는 헤드를 상태를 동결하거나 영구적으로 제거하는 대신 복구 가능한 CPU 저장소로 이동시키는 반응적 저장 정책입니다. 일치된 메모리 또는 예산에서, WakeKV는 다섯 가지 모델-레짐 조합과 네 가지 적격 조합에 걸쳐 세 가지 인용 기준선(SnapKV, uniform R-KV, ReasonAlloc)을 통해 평가되었으며, 동결 분류 및 파괴적 제거보다 일관되게 미스율(miss rate)을 개선합니다. Mistral-7B 모델에 대한 FlexiCache/vLLM 구현은 실제 하드웨어에서 이점을 확인했으며, LongBench 품질을 유지하면서 처리량(throughput)을 개선했습니다.