LLM 기반 주의 기반 재순위화 (Attention-based Re-ranking) 를 위한 쿼리 라우팅 학습

요약

최근 연구되는 LLM 기반 주의 기반 재순위화는 문서 관련성 추정에 효과적이지만, 기존 방식들은 모든 헤드를 집계하거나 정적인 하위 집합에 의존하여 최적의 성능을 내기 어렵습니다. 본 논문은 쿼리마다 가장 적합한 헤드 집합을 선택하는 'RouteHead'라는 경량 라우터를 제안합니다. 이 라우터는 각 쿼리를 최적의 헤드들로 매핑하고, 관련성 점수를 오직 선택된 헤드의 주의 신호만을 이용해 계산함으로써 성능 저하 문제를 해결합니다.

핵심 포인트

• LLM 기반 재순위화는 주의 신호를 활용하여 문서 관련성을 추정하는 강력한 방법론이다.
• 기존의 주의 집계 방식은 모든 헤드를 사용하거나 정적 선택에 의존하여 성능 한계를 가진다.
• 제안된 RouteHead는 쿼리(Query)별로 최적의 헤드(Head) 하위 집합을 동적으로 라우팅하고 선택하는 경량 아키텍처이다.
• 학습 과정에서는 오프라인 검색을 통해 생성된 가짜 라벨과 희소성 정규화자를 사용하여 쿼리-헤드 매핑을 최적화한다.