SemEval-2026 Task 8에서의 5ting: LLM 기반 재순위화(Reranking) 및 충실도 제어를 통한 강력한

원문 발행 2026. 06. 27. 14:13원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

SemEval-2026 Task 8을 위한 멀티턴 RAG 평가 시스템인 5ting을 소개합니다. BGE-M3 밀집 검색과 LLM 기반 재순위화, 역할 분리 생성 기술을 결합하여 컨텍스트 드리프트와 환각 문제를 해결하고자 합니다.

핵심 포인트

멀티턴 RAG의 컨텍스트 드리프트 및 환각 위험 대응
BGE-M3 밀집 검색과 FAISS 인덱싱 활용
LLM 기반 재순위화 및 역할 분리 생성 방식 도입
SemEval-2026 Task 8에서 우수한 성능 지표 달성

우리는 멀티턴 검색 증강 생성 (Multi-turn Retrieval Augmented Generation (RAG)) 시스템을 평가하는 SemEval2026 Task 8 (MTRAGEval)을 위한 시스템인 5ting을 소개합니다. 멀티턴 RAG는 컨텍스트 드리프트 (context drift), 미지정 (under specification), 그리고 환각 (hallucination) 위험을 수반합니다. 우리의 시스템은 BGE-M3 밀집 검색 (dense retrieval)과 FAISS 인덱싱 (indexing), 이중 쿼리 병합 검색 (dual-query merged retrieval), 그리고 LLM 기반 재순위화 (LLM-based reranking)를 결합하며, 이어서 검색된 증거에 의해 제약되는 역할 분리 생성 (role separated generation)을 수행합니다. 리트리버 (retriever)는 Task A에서 nDCG@5 = 0.4719를 달성하였으며, 엔드투엔드 (end-to-end) 시스템은 Task C에서 조화 점수 (harmonic score) 0.5597 및 RL_F = 0.7692로 순위를 기록했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

SemEval-2026 Task 8에서의 5ting: LLM 기반 재순위화(Reranking) 및 충실도 제어를 통한 강력한

요약

핵심 포인트

댓글