장면에서 요소로: 검증 가능한 멀티모달 RAG를 위한 다중 입도 증거 검색

요약

기존 멀티모달 RAG 시스템은 전체 장면(coarse granularity) 단위로 증거를 검색하여, 세밀한 사용자 질의에 대한 불일치나 실패 원인 검증이 어렵다는 한계가 있습니다. 본 논문에서는 개별 이미지가 엔티티의 부분 관찰 문제를 해결하기 위해 GranuVistaVQA라는 요소 수준 주석 기반 멀티모달 벤치마크를 제시합니다. 또한, 시각적 요소를 일급 검색 단위로 취급하는 다중 입도 프레임워크인 GranuRAG를 제안하며, 이를 통해 투명한 오류 진단과 높은 성능 향상을 달성했습니다.

핵심 포인트

• 기존 멀티모달 RAG는 거친 입도로 인해 세밀한 질의에 대한 검증이 어렵다.
• GranuVistaVQA는 요소 수준 주석을 활용하여 부분 관찰 문제를 다루는 새로운 벤치마크이다.
• GranuRAG 프레임워크는 요소 탐지/분류, 다중 입도 정렬, 속성 제약 생성을 포함한다.
• 요소 수준 검색을 근거로 함으로써 투명한 오류 진단이 가능하다.
• 실험 결과, GranuRAG는 기존 베이스라인 대비 최대 29.2%의 성능 향상을 보였다.