키-값(KV) 캐시는 장문맥 LLM 서빙에서 메모리 용량과 대역폭을 지배합니다. 4비트 마이크로 스케일링 포맷(NVFP4, MXFP4)은 캐시를 줄이고 어텐션을 FP4 Tensor Cores에서 실행하지만, 알고리즘적 양자화와 시스템 인식 가속 사이에는 근본적인 격차가 남아 있습니다. 기존의 FP4 KV 시스템은 심각한 정확도 저하를 유발하는 일반(vanilla) 양자화를 사용하며, 반면 정확도 중심의 4비트 알고리즘은 벡터 코드북에 의존하는데, 이로 인한 조회 오버헤드가 디코딩 처리량을 저하시킵니다.
우리는 정확하고 효율적인 네이티브 FP4 KV 디코딩을 위한 알고리즘-시스템 공동 설계인 BitDecoding-FP4를 제시합니다. 이 방법은 세 가지 오류 원인을 완화합니다: Dual-Residual Query Quantization은 쿼리를 두 개의 FP4 텐서로 분할하여 쿼리 로짓 오차를 60%에서 1%로 줄입니다; Underflow-Aware Probability Scaling은 E4M3 스케일이 장문맥 확률을 0으로 반올림하는 것을 방지합니다; 그리고 Outlier-Aware Key Quantization은 정적 평활화(static smoothing), Hadamard 회전, 및 스케일 검색을 결합하여 토큰별 스케일링 하의 키 아웃라이어를 억제합니다.
시스템 수준에서는 paged KV 캐시에서 결합 확률 양자화(fused probability quantization)를 사용한 전치 소프트맥스(transposed softmax)와 스택형 쿼리 MMA를 통해 소프트맥스 병목 현상을 제거합니다. GQA 및 MLA를 갖춘 밀집 모델과 MoE 모델 전반에 걸쳐, BitDecoding-FP4는 NVFP4의 경우 BF16 KV 정확도에서 0.5 포인트 이내를 유지하며(MXFP4의 경우 1 포인트), RL 학습 롤아웃에서 BF16 KV를 추적합니다.
Qwen3-4B 및 Qwen3-30B-A3B를 사용하여 NVIDIA B300에서 엔드투엔드 서빙을 수행했을 때, BF16 KV보다 2.4~3.0배 높은 최대 서빙 처리량을 제공합니다. 구현체는 https://github.com/OpenBitSys/BitDecoding-FP4에서 이용 가능합니다.