테스트 시간 LLM 가이드를 통한 태스크 적응형 임베딩 정제

우리는 까다로운 제로샷 검색 및 분류 작업에 임베딩 모델의 사용성을 확장하기 위한 LLM(거대 언어 모델) 기반 쿼리 정제 패러다임의 효과를 탐구합니다. 우리의 접근 방식은 소수의 문서를 이용한 생성형 LLM의 피드백을 사용하여 사용자 쿼리의 임베딩 표현을 정제하며, 이를 통해 임베딩이 대상 작업에 실시간으로 적응할 수 있도록 합니다. 우리는 다양한 까다로운 검색 및 분류 벤치마크에서 최첨단(state-of-the-art) 텍스트 임베딩 모델들을 대상으로 광범위한 실험을 수행했습니다. 경험적 결과는 LLM 가이드 쿼리 정제가 모든 모델과 데이터셋에서 일관된 성능 향상을 가져오며, 문헌 검색, 의도 감지, 핵심 포인트 매칭 및 미묘한 쿼리-명령어 준수(query-instruction following) 분야에서 최대 +25%의 상대적 개선을 보인다는 것을 나타냅니다. 정제된 쿼리는 순위 품질을 향상시키고 코퍼스 전반에 걸쳐 더 명확한 이진 분리(binary separation)를 유도하여, 임베딩 공간이 각 임시 사용자 쿼리의 미묘하고 작업 특화적인 제약 조건을 더 잘 반영할 수 있게 합니다. 중요하게도, 이는 임베딩 모델이 효과적으로 배포될 수 있는 실제 환경의 범위를 확장하며, 코퍼스 규모에서 비용이 많이 드는 LLM 파이프라인을 사용할 수 없을 때 매력적인 대안이 됩니다. 우리는 재현성을 위해 실험 코드를 https://github.com/IBM/task-aware-embedding-refinement에 공개합니다.