OScaR: LLM 및 그 이상의 영역에서 극단적인 KV 캐시 양자화(Quantization)를 위한 오컴의 면도날

요약

OScaR은 LLM의 긴 문맥 추론과 멀티모달 지능 구현 시 발생하는 KV 캐시 메모리 병목 현상을 해결하기 위한 새로운 양자화 프레임워크입니다. 기존 채널별 양자화의 한계인 토큰 노름 불균형(TNI) 문제를 해결하기 위해 Canalized Rotation과 Omni-Token Scaling을 도입하여 INT2 수준의 극단적인 압축에서도 성능 저하를 최소화합니다.

핵심 포인트

• 토큰 노름 불균형(Token Norm Imbalance, TNI)을 양자화 충실도 저하의 핵심 원인으로 식별
• Canalized Rotation 및 Omni-Token Scaling을 통해 시퀀스 차원 분산을 효과적으로 완화
• INT2 양자화 환경에서도 손실이 거의 없는(Near-lossless) 성능 구현
• 기존 BF16 FlashDecoding-v2 대비 디코딩 속도 최대 3.0배, 메모리 점유율 5.3배 감소, 처리량 4.1배 향상