끝에서 길을 잃다: 멀티모달 검색 증강 질의응답(Multimodal Retrieval-Augmented Question

요약

멀티모달 검색 증강 질의응답(KB-VQA)에서 정답 정보의 위치에 따른 성능 변화를 분석한 연구입니다. 텍스트 모델의 '중간에서 길을 잃는' 현상과 달리, 멀티모달 모델은 정답이 처음에 있을 때 성능이 높은 '끝에서 길을 잃다(Lost at the End)' 현상이 나타남을 발견했습니다.

핵심 포인트

• 멀티모달 KB-VQA에서 정답 위치에 따른 초두 편향(Primacy Bias) 확인
• 텍스트 전용 모델보다 멀티모달 설정에서 초두 편향이 2.2~4.5배 증폭됨
• 정답이 프롬프트의 맨 앞(0번 슬롯)에 위치할 때 성능이 가장 높음
• 기존의 recall@k 지표가 실제 성능을 왜곡할 수 있음을 시사
• 검색 단계의 수정보다 독자 측(reader-side)의 개입이 필요함