MEG-RAG: RAG에서의 증거 선택을 위한 다중 모달 증거 기반 정량화

요약

본 논문은 다중 모달 리트리벌-오거멘티드 제너레이션(MRAG) 시스템의 한계점, 즉 검색된 증거가 답변의 의미적 핵심을 얼마나 잘 지원하는지 정량화하기 어렵다는 문제를 해결하고자 합니다. 이를 위해 '다중 모달 증거 기반(MEG)'이라는 새로운 의미 인식 지표를 제안하며, 이는 단순히 표면적인 관련성이 아닌 답변의 의미적 핵심에 기여하는 고-IDF 정보 전달 토큰에 초점을 맞춥니다. 궁극적으로 MEG를 활용하여 검색된 증거를 정답의 의미 앵커와 정렬하도록 다중 모달 리랭커를 훈련한 'MEG-RAG' 프레임워크를 제시하며, 이를 통해 생성 출력의 정확도와 다중 모달 일관성을 크게 향상시킵니다.

핵심 포인트

• 기존 MRAG 시스템은 검색된 증거가 답변의 의미적 핵심을 지원하는지 판단하기 어려웠다.
• 새로운 지표인 '다중 모달 증거 기반(MEG)'은 단순히 위치 중심 신뢰도가 아닌, 의미적으로 중요한 정보 전달 토큰에 초점을 맞춘 정량화 방법을 제공한다.
• MEG를 활용하여 검색된 증거를 답변의 의미 앵커와 정렬하는 다중 모달 리랭커가 개발되었다.
• 제안된 MEG-RAG 프레임워크는 기존 베이스라인을 능가하며, 생성 출력의 정확도와 다중 모달 일관성을 향상시킨다.