디스틸레이션을 통한 LLM 유틸리티와 밀집 검색기의 정렬
요약
본 논문은 RAG 시스템의 핵심인 밀집 벡터 검색의 한계를 극복하기 위해 Utility-Aligned Embeddings (UAE) 프레임워크를 제안합니다. UAE는 검색을 분포 매칭 문제로 공식화하고, LLM 재순위화에서 얻은 유틸리티 정보를 임베딩 공간에 직접 주입하는 'Utility-Modulated InfoNCE' 목적 함수를 사용합니다. 이 접근법은 테스트 시간 LLM 추론 없이도 높은 정밀도를 유지하며, 기존의 강력한 베이스라인 대비 성능을 크게 향상시키고 계산 효율성을 획기적으로 높였습니다.
핵심 포인트
- UAE 프레임워크는 RAG 시스템에서 검색의 한계를 극복하기 위해 설계되었습니다.
- 검색 문제를 분포 매칭 문제로 공식화하고, LLM 재순위화의 유틸리티 정보를 임베딩에 주입합니다.
- Utility-Modulated InfoNCE 목적 함수를 사용하여 bi-encoder를 훈련시키며, 이는 테스트 시간 추론 없이 등급화된 유틸리티 신호를 제공합니다.
- QASPER 벤치마크에서 UAE는 기존 베이스라인 대비 Recall@1 및 MAP 등의 지표에서 높은 성능 향상을 보였습니다.
- UAE는 경쟁력 있는 성능을 유지하면서도 LLM 재순위화 방법보다 180배 이상 빠른 효율성을 자랑합니다.
밀집 벡터 검색 (Dense vector retrieval) 은 리트리벌-오그멘티드 제너레이션 (RAG) 의 실용적인 핵심이지만, 유사도 검색은 정밀도 한계를 겪을 수 있습니다. 반면, LLM 재순위화 (LLM re-ranking) 를 활용한 유틸리티 기반 접근법은 우수한 성능을 달성하지만 계산 비용이 prohibitively 높고, perplexity 추정과 같은 고유한 노이즈에 취약합니다. 우리는 이러한 장점을 실용적이고 고성능의 검색 방법으로 통합하기 위해 설계된 Utility-Aligned Embeddings (UAE) 프레임워크를 제안합니다. 우리는 검색을 분포 매칭 (distribution matching) 문제로 공식화하며, perplexity 감소를 통해 유도된 유틸리티 분포를 모방하도록 bi-encoder 를 훈련시키기 위해 Utility-Modulated InfoNCE 목적 함수를 사용합니다. 이 접근법은 테스트 시간 LLM 추론 없이도 임베딩 공간에 직접 등급화된 유틸리티 신호 (graded utility signals) 를 주입합니다. QASPER 벤치마크에서 UAE 는 강력한 의미 기반 베이스라인인 BGE-Base 대비 Recall@1 을 30.59%, MAP 을 30.16%, Token F1 을 17.3% 개선합니다. 특히 UAE 는 경쟁력 있는 성능을 유지하면서 효율적인 LLM 재순위화 방법보다 180 배 이상 빠르며, 생성형 유틸리티와 검색을 정렬함으로써 대규모에서 신뢰할 수 있는 컨텍스트를 제공함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기