MODE-RAG: 매니폴드 이상치 진단 및 에너지 기반 검색 증강 생성 평가

멀티모달 검색 증강 생성 (Multimodal Retrieval-Augmented Generation, M-RAG)은 거대 시각-언어 모델 (Large Vision-Language Models)을 향상시키지만, 교차 모달 환각 (cross-modal hallucinations), 인과적 조작 (causal fabrications), 그리고 아첨 (sycophancy) 현상에 매우 취약한 상태로 남아 있습니다. 더욱이, 기존의 완화 파이프라인은 종종 개입의 역설 (intervention paradox)에 직면합니다. 즉, 정적 규칙 (static rules)은 정확한 생성을 불필요하게 방해하는 경향이 있는 반면, 멀티모달 추론을 완전히 가이드 없이 방치하면 기존의 불일치가 심각한 논리적 조작으로 이어지게 됩니다. 이러한 환각을 정량화하고 완화하기 위해, 우리는 변분 자유 에너지 (Variational Free Energy, VFE)와 내부 어텐션 상태 (internal attention states)를 기반으로 개입을 동적으로 제어하는 멀티 에이전트 시스템인 MODE-RAG를 제안합니다. 고위험 쿼리는 5개의 단계별 에이전트로 라우팅되며, 엄격한 인과적 도출을 위한 몬테카를로 트리 탐색 (Monte Carlo Tree Search, MCTS)과 아첨을 억제하기 위한 로짓 섭동 (logit perturbations)을 통합합니다. 전용 교정 (Correction) 및 감독 (Overseer) 에이전트는 형식의 안정성을 보장하고 사후 사실 검증 (post-hoc factual verification)을 수행합니다. 우리의 접근 방식을 객관적으로 평가하기 위해, 우리는 MultiVent 데이터셋에서 파생된 도전적인 서브셋인 ModeVent를 도입합니다. 광범위한 실험 결과, 우리 시스템은 환각률과 논리적 조작을 효과적으로 감소시켜 M-RAG 시스템의 견고성 (robustness)을 크게 향상시키는 것으로 나타났습니다.