로컬 LLM을 위한 장기 메모리: KV 상태를 NVMe에 저장하고 재계산 없이 바이트 단위로 로드

요약

본 기사는 LLM의 KV 상태를 NVMe 디스크에 저장하고 재계산 없이 바이트 단위로 로드하는 메모리 레이어 'galahad-kv'를 소개합니다. 이 기술은 Gemma 4 모델을 사용하여 대규모 공용 텍스트에서 테스트되었으며, 컨텍스트 관리 효율성을 높이는 연구 결과입니다.

핵심 포인트

• LLM의 KV 상태를 NVMe에 저장하여 메모리 효율성 개선
• 재계산 없이 바이트 단위로 로드하는 'galahad-kv' 패키지 사용
• Gemma 4 모델을 활용해 대규모 공용 텍스트에서 테스트 완료