WitCert: KV-Cache 양자화(Quantization)를 위한 건전한 런타임 리스크 관측성 및 게이팅(Gating)

요약

KV-Cache 양자화 과정에서 발생하는 런타임 리스크를 실시간으로 관측하고 관리할 수 있는 WitCert 프레임워크를 제안합니다. 이 시스템은 수학적으로 증명 가능한 상한선을 통해 양자화로 인한 정보 손실을 측정하고, 필요 시 품질을 복구하는 게이팅 메커니즘을 제공합니다.

핵심 포인트

• KV-Cache 양자화의 런타임 변동성을 측정하는 결정론적 상한선 제공
• SGLang에 통합되어 실시간 서빙 중 양자화 품질 관측 가능
• 게이팅 메커니즘을 통해 RULER 작업 등에서 성능을 대폭 개선
• 인증된 INT8 캐시 사용 시 동일 메모리 내 KV 토큰 처리량 1.88배 증가