멀티모달 검색 증강 생성(RAG)은 종종 깨끗한 근거 자료로 평가되지만, 실제 검색에서는 메타데이터의 손상, 개체 교체, 타이포그래피 오버레이, 의미론적 편집, 적대적 패치, 블렌딩 또는 스타일 변환으로 인해 주제적으로 관련성이 높지만 신뢰할 수 없는 콘텐츠(가짜 텍스트 및 오해를 불러일으키는 이미지)를 반환할 수 있습니다. 우리는 다중 문장 사실 질의응답에서 멀티모달 검색 오염을 위한 통제된 벤치마크인 QIMG-7을 소개합니다. 이는 네 가지 데이터셋, 일곱 개의 이미지 공격군, 그리고 16개의 쌍으로 이루어진 깨끗한/오염된 레짐(regimes)에 걸쳐 있으며, 방법당 1,760개의 평가 행을 포함합니다. 네 가지 생성기/게이트 스택 전반에 걸쳐, 단순한 멀티모달 융합은 취약합니다: 주요 gpt-4o-mini 스택에서 Full-MM 지원도는 깨끗한 텍스트의 경우 0.908에서 오염된 텍스트의 경우 0.490으로 떨어지며, 종종 검색보다 매개변수 기반 폴백(Parametric fallback)이 더 안전함을 보여줍니다. 우리는 소스 인식 신뢰 해상도(source-aware trust resolution, SATR)를 제안합니다. 이는 매개변수 기반, 텍스트 전용, Full-MM 후보 답변을 비교하고 후보 답변 중 하나를 선택하거나 소스 신뢰성에 따라 폴백하는 학습이 필요 없는 접근 방식입니다. Field-Selector 변형이 가장 균형 잡힌 점수인 0.816을 달성하여, Full-MM보다 11.7점, Cascaded Router보다 2.7점 향상되었습니다. 제거 실험(Ablations)은 이 텍스트 우선 설정에서 명시적인 텍스트 신뢰도 모델링이 이러한 이득의 지배적인 동인임을 보여줍니다. 전반적으로, 멀티모달 검색 충돌이 있는 텍스트 기반 사실 질의응답에서 우리의 결과는 무조건적인 융합보다는 선택적 신뢰를 지지합니다. 아티팩트는 https://github.com/SaadElDine/Trust_Before_Fusion에서 확인할 수 있습니다.