계층적 표현과 양자화 간의 균형: 텍스트 임베딩에서의 성능 상충 관계

요약

본 연구는 계층적 텍스트 임베딩과 양자화 기술의 상호작용을 경험적으로 분석한 벤치마크입니다. MTEB 38개 태스크를 대상으로 다양한 계층 구조와 int8, 바이너리 등 여러 양자화를 결합하여 성능을 평가했습니다. 그 결과, int8 양자화는 높은 효율성을 유지하며 float32 대비 우수한 성능을 보였으나, 바이너리 양자화는 전반적인 성능 저하를 초래하는 것으로 나타났습니다.

핵심 포인트

• int8 양자화는 비용 증가가 미미하며 float32와 통계적으로 구별할 수 없는 수준의 성능을 보임.
• 바이너리 양자화는 모든 태스크 카테고리에서 현저하게 성능이 저하됨.
• 차원 축소(dimensionality reduction)와 int8 결합 시, 저장 공간을 32배 줄이면서도 효과의 94.4%를 유지함.
• 검색(Retrieval) 성능은 다른 카테고리보다 빠르게 성능이 저하되는 경향을 보임.