융합 전 신뢰: 오염된 멀티모달 RAG를 위한 QIMG-7 및 소스 인식 해상도

원문 발행 2026. 07. 13. 00:13원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 멀티모달 RAG 시스템이 오염된 근거 자료로 인해 신뢰할 수 없는 정보를 반환하는 문제를 다룹니다. 이를 해결하기 위해 'QIMG-7'이라는 통제된 벤치마크를 제시하고, 소스 인식 신뢰 해상도(SATR)라는 새로운 접근 방식을 제안했습니다. 이 방법은 무조건적인 멀티모달 융합보다 선택적 신뢰 기반의 답변 생성을 지지합니다.

핵심 포인트

QIMG-7: 오염된 멀티모달 RAG를 위한 통제된 벤치마크 제공
단순한 멀티모달 융합은 오염된 데이터에 취약하며 성능 저하가 발생함
Source-Aware Trust Resolution (SATR)을 제안하여 신뢰도 기반의 답변 선택 및 폴백 구현
결과적으로, 무조건적인 융합보다 선택적이고 소스 인식적인 신뢰 모델링이 중요함을 입증

멀티모달 검색 증강 생성(RAG)은 종종 깨끗한 근거 자료로 평가되지만, 실제 검색에서는 메타데이터의 손상, 개체 교체, 타이포그래피 오버레이, 의미론적 편집, 적대적 패치, 블렌딩 또는 스타일 변환으로 인해 주제적으로 관련성이 높지만 신뢰할 수 없는 콘텐츠(가짜 텍스트 및 오해를 불러일으키는 이미지)를 반환할 수 있습니다. 우리는 다중 문장 사실 질의응답에서 멀티모달 검색 오염을 위한 통제된 벤치마크인 QIMG-7을 소개합니다. 이는 네 가지 데이터셋, 일곱 개의 이미지 공격군, 그리고 16개의 쌍으로 이루어진 깨끗한/오염된 레짐(regimes)에 걸쳐 있으며, 방법당 1,760개의 평가 행을 포함합니다. 네 가지 생성기/게이트 스택 전반에 걸쳐, 단순한 멀티모달 융합은 취약합니다: 주요 gpt-4o-mini 스택에서 Full-MM 지원도는 깨끗한 텍스트의 경우 0.908에서 오염된 텍스트의 경우 0.490으로 떨어지며, 종종 검색보다 매개변수 기반 폴백(Parametric fallback)이 더 안전함을 보여줍니다. 우리는 소스 인식 신뢰 해상도(source-aware trust resolution, SATR)를 제안합니다. 이는 매개변수 기반, 텍스트 전용, Full-MM 후보 답변을 비교하고 후보 답변 중 하나를 선택하거나 소스 신뢰성에 따라 폴백하는 학습이 필요 없는 접근 방식입니다. Field-Selector 변형이 가장 균형 잡힌 점수인 0.816을 달성하여, Full-MM보다 11.7점, Cascaded Router보다 2.7점 향상되었습니다. 제거 실험(Ablations)은 이 텍스트 우선 설정에서 명시적인 텍스트 신뢰도 모델링이 이러한 이득의 지배적인 동인임을 보여줍니다. 전반적으로, 멀티모달 검색 충돌이 있는 텍스트 기반 사실 질의응답에서 우리의 결과는 무조건적인 융합보다는 선택적 신뢰를 지지합니다. 아티팩트는 https://github.com/SaadElDine/Trust_Before_Fusion에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

융합 전 신뢰: 오염된 멀티모달 RAG를 위한 QIMG-7 및 소스 인식 해상도

요약

핵심 포인트

댓글