WitCert: KV-Cache 양자화(Quantization)를 위한 건전한 런타임 리스크 관측성 및 게이팅(Gating)
요약
KV-Cache 양자화 과정에서 발생하는 런타임 리스크를 실시간으로 관측하고 관리할 수 있는 WitCert 프레임워크를 제안합니다. 이 시스템은 수학적으로 증명 가능한 상한선을 통해 양자화로 인한 정보 손실을 측정하고, 필요 시 품질을 복구하는 게이팅 메커니즘을 제공합니다.
핵심 포인트
- KV-Cache 양자화의 런타임 변동성을 측정하는 결정론적 상한선 제공
- SGLang에 통합되어 실시간 서빙 중 양자화 품질 관측 가능
- 게이팅 메커니즘을 통해 RULER 작업 등에서 성능을 대폭 개선
- 인증된 INT8 캐시 사용 시 동일 메모리 내 KV 토큰 처리량 1.88배 증가
오늘날 KV-cache 양자화(quantization)는 오프라인 벤치마크 평균을 통해 검증됩니다. 하지만 이미 배포된 시스템은 현재 처리 중인 요청에 압축이 손상을 입히고 있는지 여부를 알 수 없습니다. 우리는 이를 위해 증명 가능하고 건전한 런타임 측정기, 즉 "KV 양자화를 위한 DTrace"를 제공합니다. 이는 각 (레이어, 헤드, 단계)별로 정확한 어텐션(attention)과 압축된 어텐션 사이의 총 변동(total variation)에 대한 상한선입니다. 이 측정기는 두 가지 계층을 가집니다: 첫째, 캐시를 보존하는 모든 블랙박스 양자화기(black-box quantizer)와 모든 쿼리에 대해 건전한 결정론적 밴드-노름-증인(deterministic band-norm-witness) 상한선(적응형-안전, 최악의 경우 Cauchy-Schwarz 및 RoPE 밴드-유니터리티 적용)이며, 둘째, 명시적인 요청 수준 실패 예산 하에서 제어된 감산적 디더링(subtractively-dithered) INT8 양자화기를 위한 더 정밀한 확률적 인증서(probabilistic certificate)입니다(비적응형 쿼리에 대해 명시됨; 핵심 정리들은 Lean 4를 통해 기계 검증됨). 세 가지 결과가 있습니다. 관측성(Observability): 이 측정기는 환경 보호 패치(environment-guarded patch)를 통해 SGLang에 진입하며, 하나의 텐서 함수로 등록된 모든 방식은 실시간 서빙 중에 측정됩니다. 복구(Repair): 측정기 기반의 게이팅(gating)은 증인이 포화된 곳에서는 리스크 순위를 매기고, 정보가 유효한 곳에서는 인증을 수행하며, 벤치마크 규모에서 품질 하한선을 경험적으로 복구합니다. 예를 들어, 어려운 RULER 작업에서 raw-cast FP8의 성능은 22.8에서 79.7로 개선되었으며, 쌍체 검정(paired test) 결과 압축되지 않은 상태와의 차이는 [+0.0, +0.8]로 제한되었습니다. 분석(Analysis): 공격적인 방식들은 단계별 충실도(per-step fidelity)가 아니라 레이어 간 오차 상쇄(cross-layer error cancellation)를 통해 생존합니다. 28개 레이어 스윕(sweep) 결과, 단일 레이어의 오염만으로는 아무것도 손실되지 않았으며(0/28), 인증된 INT8 캐시는 SGLang에서 동일한 메모리 내에서 1.88배 더 많은 KV 토큰을 처리합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기