테스트 시간 LLM 가이드를 통한 태스크 적응형 임베딩 정제

요약

본 논문은 까다로운 제로샷 검색 및 분류 작업에서 임베딩 모델의 활용도를 높이기 위한 LLM 기반 쿼리 정제 패러다임을 제시합니다. 이 접근 방식은 소수의 문서를 이용해 생성형 LLM이 사용자 쿼리의 임베딩 표현을 정제하며, 이를 통해 임베딩이 특정 작업에 실시간으로 적응할 수 있게 합니다. 실험 결과, LLM 가이드 쿼리 정제는 다양한 벤치마크에서 일관되게 성능을 향상시키며, 특히 문헌 검색 및 의도 감지 분야에서 최대 +25%의 개선을 보였습니다.

핵심 포인트

• LLM 기반 쿼리 정제는 제로샷 검색 및 분류 작업의 임베딩 모델 활용도를 확장하는 효과적인 방법입니다.
• 정제된 쿼리는 임베딩 공간이 작업 특화적 제약 조건을 더 잘 반영하도록 하여 순위 품질을 향상시킵니다.
• 본 기법은 코퍼스 규모에서 비용이 많이 드는 LLM 파이프라인 없이도 임베딩 모델의 성능을 개선할 수 있는 실용적인 대안을 제공합니다.
• 다양한 벤치마크에서 최대 +25%에 달하는 일관된 성능 향상이 입증되었습니다.