로컬 배포 대규모 언어 모델 추론 시 KV 캐시 관리 문제와 LMCache 소개

요약

본 기사는 로컬 LLM 추론 시 발생하는 KV 캐시 재계산 문제와 이를 해결하는 LMCache 프로젝트를 소개합니다. LMCache는 KV 캐시를 영구적이고 재사용 가능한 자원으로 만들어 요청, 세션, 인스턴스 간 공유함으로써 중복 계산을 줄입니다. 이 시스템은 다양한 메모리 계층(GPU, 시스템 RAM, 디스크 등)과 RDMA 전송을 지원하며, RAG나 Agent 기반 서비스의 성능 향상에 기여합니다.

핵심 포인트

• KV 캐시 재계산으로 인한 속도 저하 및 GPU 메모리 낭비 문제 해결
• LMCache는 KV 캐시를 영구적 자원으로 만들어 요청/세션 간 공유 가능
• GPU, 시스템 RAM, 디스크 등 다단계 계층을 지원하며 RDMA 전송 기능 제공
• RAG나 Agent 기반 장문맥 추론 서비스의 처리량 및 지연 시간 개선에 적합