DepthKV: 긴 컨텍스트 LLM 추론을 위한 레이어 의존적 KV 캐시 가지치기

요약

DepthKV는 긴 컨텍스트 LLM 추론 시 발생하는 메모리 병목 현상을 해결하기 위해 제안된 새로운 KV 캐시 가지치기 프레임워크입니다. 기존 방법들이 모든 레이어에 동일한 가지치 비율을 적용하는 한계를 가졌던 반면, DepthKV는 각 레이어의 성능 기여도(민감도)를 고려하여 전체 KV 캐시 예산을 할당합니다. 이를 통해 메모리 효율성을 높이면서도 모델의 추론 성능 저하를 최소화할 수 있음을 여러 실험에서 입증했습니다.

핵심 포인트

• 긴 컨텍스트 LLM 추론은 KV 캐시에 의존하며, 이는 시퀀스 길이에 따라 선형적인 메모리 증가 문제를 야기합니다.
• 기존의 KV 캐시 가지치기 방법들은 모든 레이어에 동일한 비율을 적용하여 최적화되지 않았습니다.
• DepthKV는 각 레이어의 민감도(성능 기여도)를 측정하여, 전체 KV 캐시 예산을 레이어별로 차등 분배하는 프레임워크입니다.
• DepthKV는 균일 가지치기 방식보다 메모리 효율성을 유지하면서 더 일관되고 우수한 추론 성능을 제공합니다.