접지(Grounding)의 환상: Vision-Language 모델은 이상적인 관찰자처럼 검색된 텍스트와 이미지를 가중치 부여하는가?
요약
본 논문은 검색 증강 Vision-Language Model(VLMs)이 노이즈가 포함된 텍스트와 이미지를 어떻게 결합하는지 분석합니다. GIB-200K라는 새로운 교차 양식 충돌 데이터셋을 구축하여, 모델의 지식 관성 및 감각 포착과 같은 형식적 편향을 측정했습니다. 테스트 결과, 모든 평가 모델은 깨끗한 입력에서는 높은 정확도를 보였으나, 부적절하거나 손상된 입력에 취약함을 입증했습니다.
핵심 포인트
- GIB-200K 데이터셋으로 교차 양식 충돌을 분석하여 모델의 증거 결합 방식을 테스트함.
- 모델들은 깨끗한 환경에서는 정확하지만, 부적절하거나 손상된 입력에 취약성이 높음.
- LLaVA 계열 모델은 텍스트를 과도하게 가중하는 지식 관성(Knowledge Inertia)을 보임.
- InternVL3는 이미지 증거를 상대적으로 더 선호하는 경향을 나타냄.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기