LLM 기반 주의 기반 재순위화 (Attention-based Re-ranking) 를 위한 쿼리 라우팅 학습

대형 언어 모델 (Large Language Models, LLMs) 은 주의 신호 (attention signals) 를 활용하여 문서 관련성을 추정함으로써 세분화된 제로샷 재순위기 (fine-grained zero-shot re-rankers) 로 최근 연구되고 있습니다. 그러나 기존 방법들은 모든 헤드에 걸친 주의 신호를 집계하거나, 휴리스틱 규칙에 의해 식별된 정적 선택 하위 집합에 의존합니다. 이 해법은 정보량이 풍부한 헤드가 쿼리나 도메인마다 달라질 수 있기 때문에 최적의 성능을 내지 못할 수 있습니다. 또한, 다중 헤드를 단순하게 결합하는 것은 중복성이나 상충되는 순위 신호 (conflicting ranking signals) 로 인해 성능이 저하될 수 있습니다. 본 논문에서는 LLM 을 활용한 주의 기반 재순위화를 위한 쿼리 의존적 헤드 선택 방법인 RouteHead 를 제안합니다. 구체적으로, 우리는 각 쿼리를 최적의 헤드 집합으로 매핑할 수 있는 경량 라우터 (router) 를 학습시키며, 관련성 점수는 오직 이 헤드들로부터만 주의 신호를 집계하여 계산합니다. 쿼리-헤드 최적 라벨이 이용 불가능하므로, 먼저 오프라인 검색을 통해 가짜 라벨 (pseudo labels) 을 구성합니다. 라우터는 각 헤드를 학습 가능한 임베딩으로, 각 쿼리는 고정된 LLM 의 숨겨진 상태 (hidden states) 에서 추출된 임베딩으로 표현합니다. 그런 다음 가짜 라벨과 희소성 정규화자 (sparsity regularizer) 를 사용하여 학습됩니다. 다양한 벤치마크와 여러 LLM 백본에 대한 실험 결과, 제안된 방법이 강력한 베이스라인을 일관되게 능가함을 보여줍니다.