토큰 인식 클러스터링과 계층적 인덱싱을 통한 효율적인 다벡터 검색

다벡터 검색 모델은 세분화된 토큰 레벨 표현 (fine-grained token-level representations) 을 통해 최첨단 성능을 달성하지만, 배포 시 상당한 계산 및 메모리 비용을 발생시킵니다. 현재 솔루션들은 잘 알려진 k-means 클러스터링 알고리즘에 기반하여 유사한 벡터를 그룹화함으로써 효과적인 압축과 효율적인 검색을 가능하게 합니다. 그러나 표준 k-means는 클러스터 수와 데이터셋 크기에 따라 확장성이 현저히 떨어지며, 학습 과정에서 빈번한 토큰을 선호하고 희귀하며 차별적인 토큰은 제대로 대표하지 못합니다. 본 연구에서는 토큰 레벨 구조를 활용하여 클러스터링과 검색 모두를 크게 가속화하는 다벡터 검색 시스템인 TACHIOM 을 소개합니다. 중심점 할당 (centroid allocation) 시 토큰의 분포를 고려함으로써 TACHIOM 은 수백만 개의 중심점에 쉽게 확장되어, 비싼 토큰 레벨 계산을 피하면서도 중심점만으로 매우 정확한 문서 점수를 달성할 수 있습니다. TACHIOM 은 효율적인 최종 점수를 위해 중심점 위에 그래프 기반 인덱스와 최적화된 Product Quantization 레이아웃을 결합합니다. MS-MARCOv1 과 LoTTE 데이터셋에 대한 실험 결과, TACHIOM 은 k-means 대비 최대 $247 imes$ 빠른 클러스터링과 최첨단 시스템 대비 최대 $9.8 imes$ 빠른 검색 속도를 유지하면서 비교 가능하거나 우수한 성능을 달성함을 보여줍니다.