언어를 넘어선 조향: 쌍별 잔차 부분 공간 제거를 통한 다국어 학습 비필요 텍스트 임베딩 개선

요약

본 연구는 LLM의 다국어 텍스트 임베딩에 대한 체계적인 접근 방식을 제시하며, 언어별 변동성을 의미론적 내용과 분리하는 방법을 제안합니다. 핵심 방법인 Paired-Residual Subspace Removal (PRSR)은 학습 비필요 추론 시간 개입을 통해 LLM 표현을 언어 불변적인 의미 공간으로 개선합니다. 실험 결과, PRSR이 다양한 언어 및 교차 언어 환경에서 임베딩 성능을 크게 향상시켰습니다.

핵심 포인트

• LLM의 다국어 텍스트 임베딩에 대한 최초의 체계적 연구를 제시함.
• PRSR은 쌍별 잔차(paired residuals)를 이용해 언어 편차를 포착하고 제거합니다.
• 학습 비필요 추론 시간 개입(training-free inference-time intervention) 방식입니다.
• MTEB 및 MMTEB 평가에서 18개 언어에 걸쳐 성능 개선을 입증했습니다.