답변은 어디에서 오는가? 자율 주행을 위한 다중 뷰 MLLM의 뷰 레벨 시각적 근거 식별 벤치마킹

멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 시각적 추론 (Visual Reasoning) 벤치마크에서 강력한 성과를 거두고 있지만, 답변의 정확도만으로는 모델이 올바른 시각적 근거 (Visual Evidence)에 의존했는지 여부를 나타내지 못합니다. 이러한 격차는 자율 주행 (Autonomous Driving)에 사용되는 다중 뷰 (Multi-view) 주행 장면에서 특히 중요한데, 모델이 잘못된 카메라 뷰에 근거를 두면서도 그럴듯한 답변을 생성할 수 있기 때문입니다. 우리는 근거 출처 식별 (Evidence-source Identification)을 평가하기 위한 다중 뷰 시각적 질의응답 (Multi-view Visual Question Answering) 벤치마크를 소개합니다. 6개의 동기화된 NuScenes 뷰와 질문이 주어지면, 모델은 이를 뒷받침하는 카메라 뷰를 식별하고 질문에 답해야 합니다. 이 벤치마크는 인과 관계 (Causality), 반사실적 추론 (Counterfactual Reasoning), 의도 예측 (Intent Prediction)을 아우르는 73개 장면에서 추출한 122개의 충돌 중심 (Conflict-centric) 질의응답 쌍을 포함합니다. 뷰 레이블 (View labels)은 자동 충돌 마이닝 파이프라인 (Automatic conflict-mining pipeline)에 의해 제안되었으며, 어노테이터 (Annotators)에 의해 수동으로 검증되었습니다. 우리는 세 가지 설정에 대해 평가를 수행합니다: 카메라 뷰 선택 (Camera-view selection), 정답 뷰가 주어졌을 때의 오라클 질의응답 (Oracle QA given the golden view), 그리고 모델이 한 번의 패스 (Pass)로 뷰를 선택하고 답변하는 공동 예측 (Joint prediction)입니다. 답변은 객관식 및 자유 형식 (Free-form) 형식 모두로 평가되며, 구조화된 예측에는 완전 일치 (Exact match)를 사용하고 자유 형식 응답에는 LLM 판사 (LLM judge)를 사용합니다. 시각적 출처 식별을 답변의 정확성과 명시적으로 분리함으로써, 이 벤치마크는 답변 중심의 평가가 놓치는 근거 설정 실패 (Grounding failures)를 드러냅니다.