SemEval-2026 Task 8에서의 Caraman: 쿼리 재작성(Query Rewriting), 하이브리드 검색(Hybrid

요약

SemEval-2026 Task 8(MTRAGEval)의 Retrieval 태스크에 참여한 Caraman 시스템의 방법론과 성과를 설명합니다. LoRA로 미세 조정된 Qwen 2.5 7B를 활용한 쿼리 재작성, BM25와 밀집 검색을 결합한 하이브리드 검색, 그리고 BGE-reranker-v2-m3를 이용한 재순위화의 3단계 파이프라인을 통해 상위 8위를 기록했습니다.

핵심 포인트

• LoRA로 미세 조정된 Qwen 2.5 7B 모델을 사용하여 문맥 의존적 질문을 독립적 쿼리로 변환하는 쿼리 재작성 단계 적용
• BM25와 밀집 검색을 Reciprocal Rank Fusion(RRF)으로 결합한 하이브리드 검색 방식 채택
• BGE-reranker-v2-m3를 통한 Cross-Encoder 재순위화로 검색 정밀도 향상
• 도메인 특성에 따른 온도 조절(Temperature Tuning)이 성능 향상에 효과적임을 확인
• 도메인 인지 프롬프팅이나 다중 쿼리 확장보다 단순하고 정교한 쿼리 재작성이 더 높은 성능을 보임