요약

후기 상호작용(Late interaction) 모델의 대규모 벡터 저장 문제를 해결하기 위한 비대칭 양자화 기술을 소개합니다. 문서 벡터는 1비트로, 쿼리 벡터는 높은 정밀도로 유지하여 저장 공간을 97% 절감하면서도 검색 성능 손실을 최소화했습니다.

핵심 포인트

• 비대칭 양자화를 통해 문서당 저장 공간을 평균 32배 절감
• 검색 품질(NDCG@10)을 fp32 대비 거의 손실 없이 유지
• 대규모 문서 검색 엔진 Silo의 비용 및 성능 최적화 달성
• 문서 벡터는 1-bit, 쿼리 벡터는 int8로 처리하는 전략 사용