멀티모달 검색 증강 생성 (Multimodal Retrieval-Augmented Generation, MM-RAG)이 유망한 결과를 보여주고 있지만, 여전히 복잡한 멀티홉 추론 (multi-hop reasoning) 작업에는 어려움을 겪고 있습니다. 기존 방법들은 주로 독립적인 인스턴스 수준의 매칭 (instance-level matching)에 집중하며, 이는 모달리티 (modalities)와 문서 간의 명시적인 관계를 포착하지 못하는 경우가 많습니다. 그래프 강화 (Graph-enhanced) 방법들이 구조적 모델링을 도입했음에도 불구하고, 멀티모달 시나리오에서는 근본적인 문제에 직면합니다. 즉, 세밀한 (fine-grained) 시각적 특징을 통합하면 그래프 확장이 급격히 일어나고 검색 노이즈 (retrieval noise)가 발생하며, 반대로 거친 (coarse-grained) 표현을 사용하면 중요한 국소적 증거 (local evidence)를 놓치게 됩니다.

이러한 딜레마를 해결하기 위해, 우리는 멀티모달 RAG를 위한 거시적 추론 (Macro-reasoning) 그래프와 미시적 매칭 (Micro-matching) 그래프로 구성된 분리된 아키텍처를 도입하는 이중 계층 프레임워크인 DualG-MRAG를 제안합니다. 구체적으로, 전역적 구조 추론을 세밀한 증거 매칭으로부터 격리하여 검색 노이즈를 억제하기 위해, 전역적 위상 라우팅 (topological routing)을 위한 거시 그래프 (Macro Graph)와 정밀한 국소 검증을 위한 미시 그래프 (Micro Graph)를 구축합니다. 이어서, 이질적인 증거 소스 간의 동적 관련성 전파 (relevance propagation)를 가능하게 하기 위해, 검색을 GNN 리트리버 (GNN Retriever)를 통한 쿼리 주도 메시지 전달 (message passing) 과정으로 공식화합니다. 나아가, 생성 모델에 일관된 구조적 가이드를 제공하기 위해, 표준적인 고립된 문서 청크 (document chunks) 입력 방식을 대체하여 GNN의 순전파 (forward pass)에서 직접 명시적인 추론 경로를 추출하는 동적 계획법 디코딩 (dynamic programming decoding) 메커니즘을 도입합니다. 광범위한 실험을 통해 DualG-MRAG가 증거 재현율 (evidence recall)과 복잡한 질의응답 (QA) 정확도 모두에서 베이스라인 모델들을 능가함을 입증하였습니다.