MiniPIC: <100LOC에서 구현 가능한 유연한 위치 독립적 캐싱

검색 증강(Retrieval-augmented) 및 에이전트 기반 워크로드(agentic workloads)는 문서나 코드 파일과 같은 반복적이고 예측 가능한 구조화된 입력(우리가 '스팬(spans)'이라고 부르는 것)을 반복적으로 프리필(prefill)합니다. 그러나 vLLM과 같은 엔진의 접두사 캐싱(prefix caching)은 요청이 다른 요청과 동일한 접두사를 공유하지 않는 한 그들의 KV 엔트리를 재사용할 수 없습니다. 반면, 프로덕션 등급 추론 서버 내의 위치 독립적 캐싱(Position-Independent Caching, PIC) 구현체는 일반적으로 상당한 서버 코드 변경을 요구하거나 KV 상태를 서버 외부에 유지하여 호스트-디바이스 전송 오버헤드(host-to-device transfer overhead)가 발생합니다. 우리는 Minimalistic PIC (MiniPIC)을 제시합니다: 위치 인코딩이 필요 없는 KV 캐시와 사용자가 제어하는 캐시 재사용 프리미티브 두 가지 요소로 구축된 최소한의, 유연하고 빠른 vLLM 설계입니다. MiniPIC은 회전되지 않은 K 벡터를 KV 캐시에 저장하고, 어텐션 내부에서 요청별 논리적 위치를 사용하여 K 타일에 RoPE(Rotary Position Embedding)를 적용하며, 해싱 동작과 효과적인 블록 레벨 인과 어텐션 구조를 수정하는 세 가지 사용자 대상 토큰 레벨 프리미티브인 블록 정렬 패딩(block-aligned padding), 스팬 구분자(span separator, SSep), 그리고 프롬프트 의존성(prompt depend, PDep)을 노출합니다. 100줄 미만의 핵심 엔진 변경과 커스텀 어텐션 백엔드를 통해, 이 프리미티브들은 동일한 실행 중인 vLLM 인스턴스 내에서 블록 어텐션(Block-Attention), EPIC, 프롬프트 캐시(Prompt Cache)를 포함한 여러 PIC 방법을 실현하기에 충분하며, KV 캐시 CPU 오프로드 구현체와 네이티브하게 통합됩니다. 2WikiMultihopQA 데이터셋에서 MiniPIC은 인터리브 스케줄링(interleaved scheduling)을 통해 기준 vLLM 대비 프리필 처리량(throughput)을 49% 향상시키고, 캐시된 스팬의 첫 토큰까지 걸리는 시간을 최대 두 자릿수만큼 줄이며, 캐시되지 않은 스팬의 선형 프리필 스케일링을 유지하고, 최악의 경우 오버헤드는 단지 5.7%에 불과합니다.