검색 불일치(Retrieval Disagreement)를 신호로 활용: 다국어 임베더 진단 및 제어

요약

본 논문은 다국어 밀집 검색기에서 발생하는 '검색 불일치(Retrieval Disagreement)' 현상을 분석했습니다. 이는 언어 간 공유 인덱스 사용 시 특정 언어의 관련 문서가 다른 언어에 의해 왜곡되어 순위가 낮아지는 문제 때문입니다. 이를 해결하기 위해, 논문은 '불일치 기반 제어(disagreement-guided steering)'라는 새로운 방법을 제안합니다.

핵심 포인트

• 다국어 검색기에서 발생하는 불일치는 약한 언어 이해 문제가 아님을 입증했습니다.
• 공유 인덱스 환경에서 특정 언어의 관련 문서가 왜곡되는 현상을 분석했습니다.
• 불일치 기반 제어는 다른 언어와의 동의/비동의 문서를 비교하여 쿼리에 방향성을 추가합니다.
• 제안된 방식은 과밀도를 효과적으로 줄이면서도 검색률과 순위 품질을 유지하는 강력한 성능을 보였습니다.