시맨틱 캐싱 (Semantic Caching)에서의 캘리브레이션 격차 해소

시맨틱 캐싱 (Semantic Caching)은 의미적으로 유사한 질의에 대해 캐시된 응답을 제공함으로써 LLM 추론 비용을 절감합니다. 일반적인 관행은 이러한 시스템을 PR-AUC를 사용하여 평가하는데, 이는 점수가 얼마나 잘 순위를 매기는지만 측정할 뿐 고정된 임계값 (threshold)에서 실제로 사용 가능한지 여부는 무시하는 지표입니다. 우리는 이러한 불일치가 체계적으로 잘못된 배포 선택으로 이어진다는 것을 보여줍니다. PR-AUC가 가장 높은 모델이 실제 운영 시에는 가장 성능이 저조한 경우가 많기 때문입니다. 우리는 캐시 활용 수준에 따른 정밀도 (precision)를 측정하는 캐시 인지 지표인 Precision-Cache Hit Ratio (P-CHR) AUC와, 오프라인 순위 품질이 배포 시 얼마나 유지되는지를 포착하는 Calibration Retention Rate (CRR)를 도입합니다. 우리는 오프라인 품질과 배포 품질 사이의 운영 격차를 회복 가능한 캘리브레이션 (calibration) 구성 요소와 데이터셋의 양성 비율 (positive rate)에 의해 결정되는 회복 불가능한 구조적 구성 요소로 분해합니다. 우리의 실험은 캘리브레이션 격차가 데이터 규모보다는 학습 목표 (training objective)에 의해 지배되며, 사후 캘리브레이션 (post-hoc calibration)은 이를 부분적으로만 해소한다는 것을 보여줍니다. 궁극적으로 시맨틱 캐싱을 위한 모델 선택은 순위 매기기 (ranking)의 문제가 아니라 캘리브레이션 (calibration)의 문제이며, 이를 측정하는 것이 격차를 해소하기 위한 첫 번째 단계입니다.