신경망 희소 검색 (Neural Sparse Retrieval)을 위한 MLM-Head 재스케일링 (Rescaling)

요약

SPLADE와 같은 희소 검색 모델에서 강력한 백본 인코더를 사용할 때 발생하는 학습 불안정성 문제를 MLM-head의 스케일 불일치로 규명했습니다. 이를 해결하기 위해 모델 구조 변경 없이 MLM-head를 재스케일링하는 간단한 보정 방법을 제안하여 학습 안정성과 검색 성능을 개선했습니다.

핵심 포인트

• 강력한 백본 사용 시 MLM-head의 큰 L2 노름이 학습 붕괴 유발
• MLM-head 스케일 불일치가 희소 활성화 및 매칭 점수 왜곡의 원인
• 초기화 시점에 상수 인자로 재스케일링하는 zero-cost 보정법 제안
• ModernBERT 등 노름이 큰 모델에서도 안정적인 학습 및 성능 향상 확인