SeKV: 긴 컨텍스트 LLM 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시

요약

SeKV는 긴 컨텍스트 LLM의 메모리 병목을 해결하기 위해 계층적 시맨틱 메모리를 활용하는 해상도 적응형 KV 캐시 기술입니다. GPU에는 요약 벡터를, CPU에는 SVD 기저를 저장하여 필요할 때만 토큰 수준으로 정밀하게 재구성합니다. 이를 통해 성능 저하를 최소화하면서 GPU 메모리 사용량을 53.3% 절감했습니다.

핵심 포인트

• 계층적 메모리 구조를 통한 GPU-CPU 효율적 활용
• 엔트로피 가이드 시맨틱 스팬 기반의 정보 보존
• 온디맨드 토큰 수준 재구성을 통한 정밀한 검색 지원
• 기존 모델 동결 상태에서 최소한의 파라미터로 학습 가능
• 128K 컨텍스트 기준 GPU 메모리 53.3% 절감 효과