SemEval-2026 Task 8에서의 5ting: LLM 기반 재순위화(Reranking) 및 충실도 제어를 통한 강력한
요약
SemEval-2026 Task 8을 위한 멀티턴 RAG 평가 시스템인 5ting을 소개합니다. BGE-M3 밀집 검색과 LLM 기반 재순위화, 역할 분리 생성 기술을 결합하여 컨텍스트 드리프트와 환각 문제를 해결하고자 합니다.
핵심 포인트
- 멀티턴 RAG의 컨텍스트 드리프트 및 환각 위험 대응
- BGE-M3 밀집 검색과 FAISS 인덱싱 활용
- LLM 기반 재순위화 및 역할 분리 생성 방식 도입
- SemEval-2026 Task 8에서 우수한 성능 지표 달성
우리는 멀티턴 검색 증강 생성 (Multi-turn Retrieval Augmented Generation (RAG)) 시스템을 평가하는 SemEval2026 Task 8 (MTRAGEval)을 위한 시스템인 5ting을 소개합니다. 멀티턴 RAG는 컨텍스트 드리프트 (context drift), 미지정 (under specification), 그리고 환각 (hallucination) 위험을 수반합니다. 우리의 시스템은 BGE-M3 밀집 검색 (dense retrieval)과 FAISS 인덱싱 (indexing), 이중 쿼리 병합 검색 (dual-query merged retrieval), 그리고 LLM 기반 재순위화 (LLM-based reranking)를 결합하며, 이어서 검색된 증거에 의해 제약되는 역할 분리 생성 (role separated generation)을 수행합니다. 리트리버 (retriever)는 Task A에서 nDCG@5 = 0.4719를 달성하였으며, 엔드투엔드 (end-to-end) 시스템은 Task C에서 조화 점수 (harmonic score) 0.5597 및 RL_F = 0.7692로 순위를 기록했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기