디스틸레이션을 통한 LLM 유틸리티와 밀집 검색기의 정렬

요약

본 논문은 RAG 시스템의 핵심인 밀집 벡터 검색의 한계를 극복하기 위해 Utility-Aligned Embeddings (UAE) 프레임워크를 제안합니다. UAE는 검색을 분포 매칭 문제로 공식화하고, LLM 재순위화에서 얻은 유틸리티 정보를 임베딩 공간에 직접 주입하는 'Utility-Modulated InfoNCE' 목적 함수를 사용합니다. 이 접근법은 테스트 시간 LLM 추론 없이도 높은 정밀도를 유지하며, 기존의 강력한 베이스라인 대비 성능을 크게 향상시키고 계산 효율성을 획기적으로 높였습니다.

핵심 포인트

• UAE 프레임워크는 RAG 시스템에서 검색의 한계를 극복하기 위해 설계되었습니다.
• 검색 문제를 분포 매칭 문제로 공식화하고, LLM 재순위화의 유틸리티 정보를 임베딩에 주입합니다.
• Utility-Modulated InfoNCE 목적 함수를 사용하여 bi-encoder를 훈련시키며, 이는 테스트 시간 추론 없이 등급화된 유틸리티 신호를 제공합니다.
• QASPER 벤치마크에서 UAE는 기존 베이스라인 대비 Recall@1 및 MAP 등의 지표에서 높은 성능 향상을 보였습니다.
• UAE는 경쟁력 있는 성능을 유지하면서도 LLM 재순위화 방법보다 180배 이상 빠른 효율성을 자랑합니다.