KaLM-Reranker-V1
요약
KaLM-Reranker-V1은 쿼리와 패시지 계산을 분리하여 속도를 높인 새로운 리랭커 모델입니다. Matryoshka pooling을 활용해 교차 주의 집중 관련성을 유지하며, 0.27B 규모의 Nano 모델로도 대규모 임베딩 모델과 경쟁할 수 있습니다.
핵심 포인트
- 쿼리와 패시지 계산 분리를 통한 빠른 속도 구현
- Matryoshka pooling으로 풍부한 교차 주의 집중 유지
- 0.27B Nano 모델의 높은 효율성 및 성능
쿼리(query)와 패시지(passage) 계산을 분리하는, 빠르면서도 late-interaction 방식은 아닌 리랭커(reranker)입니다.
Matryoshka pooling을 통해 풍부한 교차 주의 집중(cross-attention) 관련성을 유지합니다.
Nano (0.27B) 모델은 7-12B 규모의 임베딩(embedding) 모델들과 경쟁할 수 있습니다. https://t.co/YBkck0pYgL
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0