DepthWeave-KV: 장문 컨텍스트 KV 캐시를 위한 토큰 적응형 교차 레이어 잔여 분해

요약

DepthWeave-KV는 장문 컨텍스트 언어 모델 추론 시 발생하는 키-값(KV) 캐시 메모리 및 대역폭 문제를 해결하는 토큰 적응형 캐시 압축 방법입니다. 이 기술은 낮은 계수 채널 베이스를 사용하여 트랜스포머 레이어 전반에 걸쳐 KV 상태를 분해하며, 중요한 토큰에는 높은 재구성 계수를 할당합니다. 이를 통해 기존 방식보다 훨씬 낮은 메모리 사용량으로도 뛰어난 작업 품질을 유지하며, 64K 컨텍스트에서 8.3배의 KV 메모리를 절감하고 초당 72.8 토큰이라는 빠른 속도를 달성했습니다.

핵심 포인트

• 토큰 적응형 캐시 압축 기술 DepthWeave-KV를 제안합니다.
• 낮은 계수 채널 베이스로 KV 상태를 분해하여 효율성을 높였습니다.
• 중요한 토큰에 높은 재구성 계수를 할당하여 성능 저하를 방지했습니다.
• 64K 컨텍스트에서 8.3배의 메모리 감소와 빠른 추론 속도를 달성했습니다.