블록-구체 벡터 양자화 (Block-Sphere Vector Quantization)

벡터 양자화 (Vector quantization)는 확장 가능한 머신러닝 (Machine learning) 시스템을 위한 근본적인 프리미티브 (Primitive)로, 메모리 효율적인 저장, 빠른 검색, 그리고 압축된 추론 (Inference)을 가능하게 합니다. EDEN, RabitQ, TurboQuant과 같은 최근의 회전 기반 양자화기 (Rotation-based quantizers)들은 강력한 보장 (Guarantees)과 경험적 성능을 도입했지만, 이들이 서로 다른 왜곡 기준 (Distortion criteria), 확률 체계 (Probability regimes), 그리고 구현 가정 (Implementation assumptions)에 의존하기 때문에 주변 비교들을 해석하기가 어려웠습니다. 우리의 첫 번째 기여로서, 우리는 이러한 방법들에 대한 통합된 이론적 비교를 제공하며, 이들의 상대적 장점이 절대적인 것이 아니라 기준 (Criterion)에 따라 달라짐을 보여줍니다. 즉, EDEN과 TurboQuant는 MSE 왜곡 (MSE distortion)에 유리하며, EDEN은 기대 내적 왜곡 (Expected inner-product distortion)에도 효과적이고, RabitQ는 강력한 고확률 제어 (High-probability control)를 제공합니다. 이 비교는 EDEN이 기대 왜곡 측정치 (Expected distortion measures)에 대해 특히 강력한 보장을 제공한다는 점을 더욱 명확히 합니다. 우리의 두 번째 기여로서, 우리는 무작위로 회전된 벡터의 구형 기하학 (Spherical geometry)을 중심으로 설계된 새로운 회전 기반 블록 양자화 알고리즘인 블록-구체 양자화 (Block-Sphere Quantization, BlockQuant)를 소개합니다. 좌표별 양자화기 (Coordinate-wise quantizers)와 달리, BlockQuant는 구체 (Sphere) 상에서 블록을 양자화하여 회전된 임베딩 (Embeddings)의 기하학적 구조를 더 충실하게 보존합니다. 우리는 이러한 블록-구체 설계가 재구성 MSE (Reconstruction MSE)와 기대 내적 왜곡 (Expected inner-product distortion) 모두에서 본 논문에서 고려된 베이스라인 (Baselines)보다 이론적으로 개선됨을 증명합니다. 실제 임베딩 데이터셋과 긴 문맥 LLM 추론 (Long-context LLM inference) 작업에 대한 실험은 우리의 이론적 개선 사항과 일치하는 실질적인 이득을 보여줍니다.