KV-Fold: 긴 문맥 추론 (Long-Context Inference)을 위한 단일 단계 KV-Cache 재귀 (Recurrence)

요약

KV-Fold는 키-값(KV) 캐시를 누산기(accumulator)로 활용하여 별도의 학습 과정 없이 긴 문맥 추론을 수행하는 프로토콜입니다. 이 방식은 함수형 프로그래밍의 foldl과 유사하게, 이전 청크에서 전달된 KV 캐시를 조건으로 다음 청크를 처리하며 내부 상태를 재사용합니다. KV-Fold는 16K부터 128K 토큰에 이르는 긴 문맥에서도 높은 정확도를 유지하며, 단일 GPU 메모리 제약 내에서 안정적으로 작동하는 것이 특징입니다.

핵심 포인트

• KV-Fold는 별도의 학습 없이(training-free) KV 캐시를 재귀적 누산기로 활용하여 긴 문맥 추론을 가능하게 합니다.
• 이 프로토콜은 이전 청크의 KV 캐시를 접두사로 사용하여 모델 수정이나 재학습 없이 내부 상태를 효과적으로 재사용합니다.
• KV-Fold는 16K~128K 토큰, 최대 511 체인 깊이에서도 높은 정확도를 유지하며 안정적입니다.
• 메모리 제한적인 스트리밍 방식과 달리, KV-Fold는 장거리 검색 능력을 유지하면서도 다루기 쉬운 순방향 패스(forward passes)로 작동합니다.