장문 컨텍스트(Long-context) LLM 추론은 KV 캐시의 메모리 및 대역폭 비용에 의해 점점 제한되고 있지만, 과도한 압축은 검색 및 다단계 추론에 필요한 레이어별 증거를 제거할 수 있습니다. 우리는 FreqDepthKV라는 추론 시간 캐시 압축 방법을 소개합니다. 이 방법은 인접 레이어 KV 상태를 공유 저주파 깊이 성분(shared low-frequency depth components)과 희소 고주파 잔차(sparse high-frequency residuals)로 인수분해(factorizes)합니다. 경량 온라인 프로브는 어텐션 헤드에 재구성에 민감한 어텐션 로짓(attention logits)에 대한 기여도에 따라 공유 깊이, 잔차 깊이 또는 정확한 캐시 모드를 할당하여, 압축 정책이 재학습 없이 프롬프트 구조에 적응할 수 있도록 합니다. 장문 컨텍스트 질의 응답, 니들 검색, 요약 및 코드 생성 벤치마크 전반에 걸쳐 FreqDepthKV는 훨씬 작은 캐시 예산(cache budgets) 하에서도 작업 정확도를 유지합니다. 32k 토큰 프리필 창(prefill window)에서 FreqDepthKV는 58.3 Exact Match, 63.0 F1, 32.5 ROUGE-L, 그리고 48.1 pass@1을 달성하여 전체 KV와 근접하게 일치하는 동시에 이전 압축 캐시 방법들보다 우수한 성능을 보입니다. 또한 디코딩 처리량(decoding throughput)을 70.4 토큰/초로 향상시키고, TTFT를 2.06초로 줄이며, 최대 KV 메모리를 6.2 GB로 낮춰 3.9배의 유효 압축률을 달성합니다.