장문 컨텍스트 언어 모델 추론은 키-값(key-value) 캐시를 저장하는 데 필요한 메모리 대역폭과 용량에 의해 점점 제한되고 있습니다. 하지만 기존의 압축 방법들은 층(layer)이나 토큰 전체에 균일한 예산을 적용하는 경우가 많으며, 어휘적 단서와 의미론적 상태가 서로 다른 보존을 요구할 때 검색 성능이 저하됩니다. 우리는 DepthWeave-KV를 소개합니다. 이는 공유된 낮은 계수(low-rank) 채널 베이스를 사용하여 인접한 트랜스포머 레이어 전반에 걸쳐 키 및 값 상태를 분해하는 토큰 적응형 캐시 압축 방법입니다. 이 방법은 어텐션 동작이 민감한 부분에서는 가벼운 토큰별 잔여분(token-specific residuals)을 유지하면서 작동합니다. DepthWeave-KV는 교차 깊이 잔여 분해와 토큰 조건부 깊이 라우터(depth router)를 결합하여, 지시어(instruction)-담당 및 검색에 중요한 토큰에 더 높은 재구성 계수(reconstruction rank)를 할당하고, 어텐션 출력 프로브(attention-output probes)로부터의 보정(calibration)-프리 온라인 오류 추적을 사용하여 기본 모델을 재학습하지 않고도 생성 중 압축을 조정합니다. 결합된 CUDA 구현은 베이스 조회(basis lookup), 잔여 양자화 해제(residual dequantization), 그리고 어텐션 투영(attention projection)을 공동으로 수행하여 디코드 시간 메모리 트래픽을 줄입니다. LongBench, Needle-in-a-Haystack, L-Eval, 장문형 QA 및 요약 벤치마크 전반에 걸쳐 DepthWeave-KV는 훨씬 낮은 메모리 사용량으로 거의 전체 캐시 수준의 작업 품질을 달성하며, 이전 압축된 캐시보다 평균 점수와 검색 정확도를 향상시키는 동시에 64K 컨텍스트에서 8.3배의 KV 메모리 감소 및 초당 72.8 토큰에 도달합니다.