리랭킹이 해가 될 때: 불확실성 기반의 게이팅을 이용한 퓨샷 리랭킹 (Few-Shot Reranking)

요약

리랭킹이 항상 성능을 향상시키지 않는다는 점에 주목하여, 모델의 불확실성을 기반으로 리랭킹 여부를 결정하는 'Training-Free Gated Reranking' 기법을 제안합니다. 실험 결과, 성능 향상과 동시에 계산 비용을 대폭 절감할 수 있음을 입증했습니다.

핵심 포인트

• 리랭킹이 항상 성능을 높이지는 않으며 오히려 저하시킬 수 있음
• 모델의 불확실성을 활용해 리랭킹 여부를 결정하는 게이팅 방식 제안
• 평균 성능 최대 2% 향상 및 계산 비용 15%-80% 절감 효과
• 불확실성이 높은 인스턴스에 리랭킹을 적용할 때 가장 효과적임