QKVShare: 에지 디바이스 멀티 에이전트 LLM 을 위한 양자화된 KV-Cache 손절

요약

QKVShare는 엣지 디바이스 환경에서 멀티 에이전트 LLM을 위한 효율적인 KV-Cache 손절 프레임워크입니다. 이 프레임워크는 토큰 단위 혼합 정밀도 할당, 자체 포함 CacheCard 표현, 그리고 HuggingFace 호환 캐시 주입 경로를 결합하여 기존의 비용이 많이 드는 재-프리필 또는 전역 KV 전송 방식의 한계를 극복합니다. 실험 결과에 따르면, QKVShare는 특히 반복적인 손절 상황에서 적응형 양자화가 경쟁력을 유지하며, 깊은 홉과 높은 예산 설정에서 균일 양자화 대비 명확한 이점을 보여주며, 재-프리필 방식보다 낮은 지연 시간을 달성합니다.

핵심 포인트

• QKVShare는 에지 디바이스 멀티 에이전트 LLM을 위한 효율적인 KV-Cache 손절 솔루션을 제공합니다.
• 토큰 단위 혼합 정밀도 할당과 자체 포함 CacheCard 표현을 결합하여 메모리 및 계산 비용을 절감했습니다.
• QKVShare는 재-프리필 방식 대비 낮은 Time To First Token (TTFT) 지연 시간을 보여주어 에지 디바이스 배포에 유리합니다.
• 적응형 양자화 기법이 반복적인 손절 상황에서 경쟁력을 유지하며, 깊은 홉과 높은 예산 설정에서 균일 양자화 대비 우수한 성능을 입증했습니다.