블록-구체 벡터 양자화 (Block-Sphere Vector Quantization)

요약

본 논문은 최근 주목받는 회전 기반 벡터 양자화 기법들(EDEN, RabitQ, TurboQuant)에 대한 통합적인 이론적 비교를 제공합니다. 이를 바탕으로 구형 기하학을 활용하여 임베딩의 구조를 더 잘 보존하는 새로운 블록 양자화 알고리즘인 BlockQuant를 제안하며, 재구성 MSE와 기대 내적 왜곡 측면에서 기존 방식보다 뛰어난 성능을 입증했습니다.

핵심 포인트

• 기존 회전 기반 양자화기(EDEN, RabitQ, TurboQuant)의 성능은 왜곡 기준과 확률 체계에 따라 상대적으로 달라짐을 이론적으로 규명함
• EDEN은 MSE 및 기대 내적 왜곡에 유리하며, RabitQ는 고확률 제어에 강점이 있음
• 새로운 알고리즘 BlockQuant는 구체 상에서 블록 단위로 양자화하여 회전된 임베딩의 기하학적 구조를 효과적으로 보존함
• BlockQuant는 이론적 개선뿐만 아니라 실제 임베딩 데이터셋 및 긴 문맥 LLM 추론 작업에서도 실질적인 성능 향상을 보여줌