AKV: 에이전트를 위한 캐시 엔지니어링

요약

AKV는 LLM 에이전트가 자신의 KV 캐시를 직접 관리할 수 있게 하는 새로운 서빙 시스템입니다. 이 시스템은 불필요한 기록을 제거하고 보존된 키들을 재배치하여, 재작성이나 재프리필링 과정 없이 효율성을 높였습니다. 이를 통해 평균 운영 비용을 27.7% 절감하고 작업 정확도를 향상시키는 효과를 보여줍니다.

핵심 포인트

• LLM 에이전트가 KV 캐시를 직접 관리하는 시스템 도입
• 재작성/재프리필링 과정 없이 메모리 최적화 구현
• 평균 운영 비용을 27.7% 절감하는 경제적 효과
• 작업 정확도를 1.7 포인트 향상시키는 성능 개선