에이전트를 위한 캐시 엔지니어링

원문 발행 2026. 10. 21. 02:32원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 LLM 에이전트의 긴 작업 궤적에서 발생하는 KV 캐시 I/O 및 저장 공간 비용 문제를 해결하기 위한 '캐시 엔지니어링' 방식을 제안합니다. 이 방식은 에이전트가 직접 활성 KV 캐시를 제어하여, 기존의 컨텍스트 요약이나 재-프리필링 과정 없이도 효율적인 캐시 관리가 가능하게 합니다.

핵심 포인트

캐시 엔지니어링을 통해 LLM 에이전트의 KV 캐시 비용 문제를 해결합니다.
드롭(drop) 및 리포즈(repos) 기능을 사용하여 활성 캐시를 직접 제어할 수 있습니다.
AKV 서비스 엔진은 상태 비저장 인터페이스와 내부 상태 저장 로직을 결합했습니다.
실험 결과, 기존 방식 대비 벤치마크 점수 향상과 비용 절감을 입증했습니다.

대규모 언어 모델 (LLM) 에이전트는 관찰 및 행동의 긴 궤적을 탐색하며 점점 더 복잡한 작업을 처리할 수 있습니다. 이러한 궤적이 길어짐에 따라, 키-값 (KV) 캐시 I/O와 저장 공간이 지배적인 비용이 됩니다. 또한 궤적은 LLM의 최대 컨텍스트 길이(context length)를 초과할 수 있어 활성 캐시 성장에 대한 제어가 필요합니다. 이전 연구에서는 히스토리(history)를 자르거나 요약하여 캐시 크기를 줄이는 컨텍스트 엔지니어링을 사용했습니다. 그러나 궤적 접두사(prefix)를 수정하면 이후의 캐시된 상태가 무효화되고, 보존된 컨텍스트에 대한 비용이 많이 드는 재-프리필링(re-prefilling)이 발생합니다. 또한 너무 적은 컨텍스트만 유지하여 재-프리필 비용을 제한할 경우 작업 정확도가 떨어질 수 있습니다. 본 논문에서는 캐시 엔지니어링이라는 새로운 방식을 제안합니다. 이는 에이전트가 궤적을 수정하거나 보존된 컨텍스트를 재-프리필링하지 않고도 활성 KV 캐시를 직접 제어할 수 있게 합니다. 구체적으로, 에이전트는 드롭(drop) 기능을 선제적으로 사용하여 선택한 캐시를 미래의 어텐션에서 제외하고, 리포즈(repos)를 사용하여 보존된 키들의 위치 인코딩(position encoding)을 조정할 수 있습니다. 우리는 이러한 캐시 연산을 형식화하고 히스토리 의존성(history dependence)을 서비스상의 과제로 식별합니다: 동일한 토큰 시퀀스가 서로 다른 캐시 연산 순서 하에서 다른 캐시 상태를 생성할 수 있어, 접두사 일치(prefix matching)만으로는 정확한 캐시 재사용에 불충분합니다. 따라서 우리는 AKV 서비스 엔진을 공동 설계했습니다. 이는 기존 서비스 API와 호환되는 상태 비저장(stateless) 인터페이스를 제공하는 동시에, 내부적으로는 상태 저장(stateful) 캐시 재사용, 제거(eviction), 복원(restoration)을 관리합니다. 실험 결과에 따르면, 도구-응답 롤링-드롭 캐시 정책은 기존의 임계값 기반 요약 방식과 비교하여 평균 벤치마크 점수를 1.7점 향상시키고 평균 비용을 27.7% 감소시키는 것으로 나타났습니다. AKV를 사용하면 최대 1.2배의 출력 처리량(output throughput)과 P95 요청 지연 시간에서 1.5배의 속도 향상을 달성합니다. 캐시 정책에 대한 재귀적 자체 개선은 전문가 설계 대비 비용을 추가로 7.1% 줄입니다. 우리의 코드는 https://github.com/thu-nics/AKV에 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

에이전트를 위한 캐시 엔지니어링

요약

핵심 포인트

댓글