토큰 인식 클러스터링과 계층적 인덱싱을 통한 효율적인 다벡터 검색

요약

본 논문은 세밀한 토큰 레벨 표현을 사용하는 다벡터 검색 모델의 높은 계산 비용 문제를 해결하기 위해 TACHIOM이라는 새로운 시스템을 제안합니다. TACHIOM은 토큰 분포를 고려하여 클러스터링과 검색 모두를 가속화하며, 중심점만으로도 정확한 문서 점수를 얻을 수 있게 합니다. 이 시스템은 그래프 기반 인덱스와 최적화된 Product Quantization 레이아웃을 결합하여 기존 k-means 방식 대비 월등히 빠른 속도를 유지하면서도 높은 성능을 입증했습니다.

핵심 포인트

• 다벡터 검색 모델의 고비용 문제를 해결하기 위해 TACHIOM 시스템이 제안되었습니다.
• TACHIOM은 토큰 분포를 고려한 중심점 할당 방식을 사용하여 확장성과 정확성을 동시에 확보합니다.
• 시스템 효율을 위해 그래프 기반 인덱스와 최적화된 Product Quantization 레이아웃을 결합했습니다.
• 실험 결과, TACHIOM은 k-means 대비 빠른 클러스터링 속도와 기존 SOTA 시스템 대비 월등히 빠른 검색 속도를 보여주었습니다.