CacheSmith: 적응형 KV 재사용을 통한 지연 시간 서비스 수준 목표(SLO) 달성 개선 RAG 서빙 시스템

본 논문은 검색 증강 생성(RAG) 프리필 과정에서 품질 기반의 서비스 수준 목표(SLO) 달성을 극대화하는 KV 캐시 재사용 시스템인 CacheSmith를 제시합니다. 컨텍스트 캐싱은 검색된 청크에 대해 미리 계산된 KV 상태를 재사용함으로써 프리필 지연 시간을 낮추지만, 전체 프리필이 연결된 입력에 걸쳐 계산할 교차 청크 어텐션(cross-chunk attention)을 놓칩니다. 기존의 선택적 재계산 방식들은 이 문제를 다루지만, 요청의 이질성이나 동적인 지연 시간 예산을 효과적으로 처리하지 못하는 정적이고 일률적인 구성을 강제합니다. CacheSmith는 선택적 재계산을 WarmUp, Probe, Patch의 세 단계 워크플로우로 분해하여, 광범위한 비용-정확도 트레이드오프를 활용하도록 동적으로 구성할 수 있습니다. 서빙 시점에는, CacheSmith 내의 SLO 인식 스케줄러가 레이어별 프리필 동안 요청 간 간섭을 완화하기 위해 배치(batch)를 형성하며, 예산 인식 플래너는 배치를 가로질러 재계산 단계를 구성하여 생성 품질과 지연 시간 목표를 모두 만족하는 요청 수를 극대화합니다. 두 구성 요소 모두 프로파일링된 비용-정확도 밴드에 걸쳐 빠르고 솔버가 필요 없는 결정을 내립니다. 다양한 도착률 및 버스트니스 수준의 네 가지 벤치마크에서, CacheSmith는 네 가지 최신 기술 기반(state-of-the-art) 기준 대비 품질 기반 SLO 달성을 최대 27.5%까지 개선했습니다.