2비트 KV 캐시가 메모리 대역폭을 절감하는 방법

WUSH‑KV는 각 키(key)/값(value) 요소를 2비트로 저장하면서도, 다른 양자화된 방식과 비교하여 유사하거나 더 나은 퍼플렉서티(perplexity)를 달성하며, 풀-프리시전 성능에 근접합니다. 핵심은 키에는 데이터 적응형 선형 변환(data‑adaptive linear transform)을 사용하고, 값에는 모델의 가중치 행렬(weight matrices) 내부에 직접 접합되는 값 변환(value transform)을 사용하여, 캐시 자체가 2비트 영역을 벗어나지 않게 하는 것입니다. 메모리 트래픽은 캐시 크기에 선형적으로 비례하므로, 표현을 16비트에서 2비트로 줄이면 메모리 트래픽도 그 비율만큼 감소하며, 실험 결과 다른 양자화된 기준선(quantized baselines)과 비교했을 때 품질 저하가 유의미하지 않음을 보여줍니다.

이전 접근 방식들은 일반적으로 KV 캐시에 하프-프리시전(16비트)을 사용했으며, OSCAR와 같은 방법은 백분위수 클립 아핀 양자화(percentile‑clipped affine quantization)를 적용했고, 이는 종종 4비트 이상에서 이루어졌습니다. 그러한 접근 방식들은 키와 값에 동일한 정적 변환(static transform)을 적용하여, 4비트 이하로 낮출 경우 눈에 띄는 퍼플렉서티 하락을 초래했으며, 이는 범용 GPU에서의 긴 컨텍스트 배포를 제한했습니다. 초기 연구에서는 컨텍스트 길이와 메모리 사용량 사이의 상충 관계(trade‑off)가 강조되었고, 이는 더 효율적인 KV 캐시 표현 방식을 고안하는 동기가 되었습니다.

WUSH‑KV는 모든 비트폭에서 모든 양자화 변환 중 가장 낮은 퍼플렉서티를 달성합니다. '표 1은 WUSH가 모든 비트폭에서 양자화된 변환 중 가장 낮은 퍼플렉서티를 달성함을 보여줍니다.' 이는 공격적인 2비트 설정에서도 유지되며, 경쟁 방법들은 발산하거나 훨씬 더 높은 손실(loss)을 생성하는 반면, 적응형 키/값 분해(adaptive key/value decomposition)가 수치 정밀도의 급격한 감소를 완전히 보완함을 확인시켜 줍니다 [].

이 방법은 여전히 키 변환(key transform)을 계산하기 위한 보정 단계(calibration phase)에 의존하며, 비록 “저장 오버헤드가 실제 시퀀스 길이에서 가중치와 KV 캐시 모두에 비해 작다”고는 하지만, 위치별로 공유되어야 하는 추가적인 메타데이터 텐서(metadata tensor)를 도입합니다. 값 변환(value transform)을 가중치 행렬(weight matrix)에 통합하는 것은 또한 이후의 미세 조정(fine-tuning)이나 LoRA 적응(LoRA adaptation)이 변경된 가중치 공간을 준수해야 함을 의미하며, 이는 논문의 실험에서 탐구되지 않은 제약 조건입니다. 이러한 점들은 온라인 보정 또는 모듈식 값 변환 처리(modular value-transform handling)에 대한 향후 연구가 적용 범위를 더욱 넓힐 수 있음을 시사합니다 [].

만약 2비트 KV 캐시가 기본값이 된다면, LAMBADA나 검색 증강 생성(Retrieval-Augmented Generation)과 같은 기존의 장문맥 벤치마크를 GPU 메모리 예산의 절반으로 재실행할 수 있어, 실제 이득은 모델 가중치와 활성화 메모리와 같은 다른 요인에 따라 달라지지만, 동일한 메모리 예산 내에서 더 긴 시퀀스를 처리하는 것이 가능해질 수 있습니다. 이것만으로도 이전에 4k 토큰 이하의 창(window)으로 제한되었던 단일 GPU 서버에 70B 규모 모델을 배포하는 실현 가능성 창을 다시 열어줍니다.

참고 문헌

1. WUSH-KV: 데이터 적응 변환을 사용한 KV 캐시 양자화