끝에서 길을 잃다: 멀티모달 검색 증강 질의응답(Multimodal Retrieval-Augmented Question

지식 기반 시각적 질의응답 (Knowledge-based visual question answering, KB-VQA)은 시각-언어 시스템이 Wikipedia 규모의 지식 베이스에서 검색된 구절을 독자(reader)에게 조건화함으로써, 시스템의 파라미터 지식(parametric knowledge)을 초과하는 질문에 답할 수 있게 합니다. 순수 텍스트 기반의 롱 컨텍스트 LLM(long-context LLMs)에서는 검색된 컨텍스트의 사용이 Liu et al. (2024)이 제시한 U자형 "중간에서 길을 잃는 (lost-in-the-middle)" 효과를 따릅니다. 즉, 컨텍스트의 시작과 끝에 있는 정보는 사용되지만, 중간 부분은 소실됩니다. 이러한 현상이 실제 배포된 멀티모달 KB-VQA로 전이되는지는 아직 미지의 영역입니다. 이 격차를 해소하기 위해, 우리는 멀티모달 KB-VQA에서 독자 측의 위치 의존성(position dependence)을 제어하며 조사할 수 있는 최초의 프로브(probe)를 설계했습니다. 즉, 질문 내에서 정답 구절(gold passage)의 프롬프트 슬롯(prompt slot)만 변화시키는 '골드-포지션 프로토콜(gold-position protocol)'을 제안합니다. 우리는 이를 세 가지 오픈 소스 7B/8B VLM 독자와 두 가지 KB-VQA 벤치마크에 대해 k가 최대 20인 지점에서 실행했습니다. 그 결과, 형태가 U자형에서 초두 편향(primacy)으로 뒤집혔습니다. 모든 독자-벤치마크 조합에서 정답이 처음에 있을 때가 마지막에 있을 때보다 16에서 26포인트 더 높은 성능을 보였으며, 우리는 이 효과를 "끝에서 길을 잃다 (Lost at the End)"라고 명명했습니다. 세 가지 표적 절제 연구(ablations)를 통해 원인을 좁혀 보았습니다. 텍스트 전용 대조군(text-only control) 실험은 멀티모달 설정이 이미 존재하는 텍스트 모드의 초두 편향을 2.2배에서 4.5배까지 증폭시킨다는 것을 보여주었으며, 이미지 위치(image-position) 및 방해 요소 셔플(distractor-shuffle) 절제 연구를 통해 그 위치가 지시어 튜닝된(instruction-tuned) 독자의 프롬프트 슬롯 0번임을 확인했습니다. 동결된(frozen) 독자를 대상으로 세 가지 검색 측 수정 사항(MMR, 오라클 리랭킹(oracle reranking), 순위 기반 재정렬(rank-based reordering))을 적용했으나, 모두 격차를 그대로 남겨두었습니다 (분리 가능한 개선 효과 없음). 우리의 연구 결과는 배포된 KB-VQA에 있어 recall@k가 잘못된 지표이며, 이 격차를 줄이기 위해서는 독자 측의 개입(reader-side intervention)이 필요함을 나타냅니다. 우리는 이러한 개입을 평가하기 위한 제어된 도구로서 우리의 프로토콜을 공개합니다.