대부분의 벡터 양자화기는 같은 6가지 기본 원시 요소로 구성되어 있다

벡터 양자화(Vector quantization)는 벡터 데이터베이스에 근본적입니다. 벡터를 검색하려면 먼저 저장해야 하는데, 이를 전체 정밀도로 저장하는 것은 비용이 많이 듭니다. 비트 하나를 절약할 때마다 용량과 비용으로 나타납니다. Pinecone은 최초 프로토타입부터 양자화를 사용해 왔으며, 우리는 항상 최신 기술을 찾고 있습니다. 그래서 이번 여름에 이에 대한 조사를 진행하기로 했습니다. 예상보다 많은 논문을 발견했고, 이들을 비교할 방법이 없었습니다. 모든 논문이 다른 지표를 측정하고, 다른 데이터셋에서 수행되었으며, 다른 하드웨어에 맞춰 조정되었습니다. 우리는 선도적인 방법론들 간의 단일한 체계적 평가를 찾을 수 없었습니다. 하지만 하나의 패턴은 발견했습니다. 발표된 대부분의 양자화기는 동일한 소수의 기본 원시 연산(primitive operations) 집합으로 구성되어 있으며, 이들을 다른 순서로 조합했을 뿐입니다. 그래서 우리는 VQ-bench를 만들었습니다. 이것은 이러한 원시 요소들의 오픈소스 라이브러리이며, 파이프라인으로 조합할 수 있고 확장하도록 설계되었습니다. 우리가 테스트한 가장 강력한 방법 중 하나인 E-RaBitQ는 4개의 원시 요소를 리스트로 가지고 있습니다. 순서를 바꾸기만 해도 새로운 양자화기가 생깁니다. 자신만의 원시 요소를 추가하면, 아직 아무도 작성하지 않은 파이프라인을 포함하여 카탈로그에 있는 모든 것과 조합됩니다. 어느 쪽이든 동일한 테스트 환경(harness)으로 다른 모든 방법들과 결과를 측정할 수 있습니다. 우리는 이를 사용하여 14가지 인기 양자화기를 재현율(recall), 재구성 오차(reconstruction error), 인코딩 시간(encode time)에 대해 벤치마킹했습니다. 지금까지 얻은 두 가지 결론은 다음과 같습니다: PQ와 OPQ가 가장 낮은 재구성 오차를 보였고, EDEN은 높은 비트 예산에서 E-RaBitQ와 비슷한 재현율을 유지하면서도 인코딩 속도가 훨씬 빠릅니다. 이것은 첫 번째 반복(iteration)입니다. 우리는 여러분의 피드백, 수정 사항, 기여를 원하며, 시간이 지남에 따라 양자화기를 계속 추가할 것입니다. 웹사이트 블로그 레포지토리 논문 (VecDB@VLDB 2026) /u/soryx7 제출 [링크] [댓글]