BERAG: 지식 기반 시각적 질문 답변을 위한 베이지안 앙상블 리트리벌 오거멘티드 제너레이션

요약

본 논문은 기존의 단일 결합 컨텍스트 기반 RAG(리트리브럴 오거멘티드 제너레이션) 방식이 가지는 'lost-in-the-middle' 효과, 낮은 확장성, 그리고 기여도 추적의 어려움 등의 한계를 극복하기 위해 BERAG(베이지안 앙상블 리트리벌 오거멘티드 제너레이션) 프레임워크를 제안합니다. BERAG는 검색된 개별 문서에 조건부로 작용하며, 베이즈 정리를 사용하여 문서 사후 확률을 토큰 단위로 업데이트하는 것이 핵심입니다. 이 접근법은 지식 기반 시각적 질문 답변(Knowledge-based VQA)과 같은 복잡한 작업에서 표준 RAG 대비 성능 향상을 입증하고, 정보의 명확한 귀속 및 효율적인 추론 과정을 제공합니다.

핵심 포인트

• 기존 RAG는 단일 컨텍스트 결합 방식이라 'lost-in-the-middle' 효과와 확장성 문제를 겪는다.
• BERAG는 검색된 개별 문서에 조건부로 작용하며, 베이즈 정리를 이용해 토큰 단위로 문서 사후 확률을 업데이트한다.
• 이 접근법은 문서 기여도의 명확한 귀속(attribution)과 확률적 재순위화가 가능하여 대규모 컬렉션에 적합하다.
• BERAG는 지식 기반 시각적 질문 답변(Knowledge-based VQA)에서 표준 RAG 대비 상당한 성능 개선을 보였다.