대규모 언어 모델 서빙을 위한 최신성/빈도 적응형 KV 캐싱 (Recency/Frequency Adaptive KV Caching)

요약

LLM 추론 속도를 높이는 KV 캐싱의 효율성을 개선하기 위해 최근성과 빈도수를 고려한 적응형 캐싱 기술을 제안합니다. 기존 LRU 방식의 한계를 극복하여 다양한 워크로드에서 캐시 적중률을 높이고 토큰 생성 시간을 단축했습니다.

핵심 포인트

• LRU 정책의 캐시 플러싱 문제를 해결하기 위한 적응형 캐싱 도입
• 최근성(Recency)과 빈도(Frequency) 기반의 동적 캐시 공간 할당
• 합성 문서 QA 워크로드에서 캐시 적중률 최대 10.8% 향상
• 첫 번째 토큰 생성 시간(TTFT)을 최대 12.6% 단축
• 배치 추론 및 실제 대화 워크로드에서도 성능 개선 확인