혼합 언어 질의가 도움이 되는 경우는 언제인가? 다국어 밀집 검색에서의 쿼리 임베딩 보간 분석
요약
본 연구는 다국어 커뮤니티에서 흔한 혼합 언어 질의(mixed-language querying)가 밀집 검색기 성능에 미치는 영향을 분석했습니다. mMARCO 데이터셋을 활용하여 임베딩 레벨의 혼합 비율을 체계적으로 조절하며 검색 성능을 평가했습니다. 실험 결과, 비영어 문서 인덱스에서는 혼합이 유익했으나 영어 포함 인덱스에서는 순수 영어가 가장 효과적이며, 영어는 모든 비영어 언어에 강력한 파트너 역할을 함을 발견했습니다.
핵심 포인트
- 혼합 언어 질의는 임베딩 레벨에서 보간(interpolation)으로 구성됨.
- 비영어 문서 검색 시 혼합이 유익하나, 영어 포함 인덱스에서는 순수 영어가 최적임.
- 영어는 모든 비영어 문서 언어에 대해 가장 강력한 혼합 파트너 역할을 함.
- 혼합 이득은 유형론적 거리와 음의 상관관계를 가짐.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기