proveKV – LLM을 위한 정직한 36배 무손실 (f32 대비) 및 18배 (fp16 대비) KV-cache 압축 (PPL 저하 없음)

요약

LLM의 KV-cache를 f32 대비 36배 무손실로 압축할 수 있는 오픈 소스 기술인 proveKV를 소개합니다. PPL 저하 없이 메모리 효율을 극대화하며, 자동화된 감사 스크립트를 통해 수치의 투명성을 검증했습니다.

핵심 포인트

• f32 대비 36배, fp16 대비 18배 무손실 압축 달성
• PPL(Perplexity) 변화량 0%로 성능 저하 없음
• 자동화된 감사 파이프라인을 통한 수치 투명성 확보
• Rust 기반 예제 및 상세한 검증 프로세스 제공