시각 정보는 거짓말을 하고 일관성이 말한다: 시각-언어 모델(Vision-Language Models)에서 공간적 주의 집중(Spatial

요약

시각-언어 모델(VLM)의 신뢰성이 시각적 주의 집중(Spatial Attention)과 상관관계가 낮다는 연구 결과를 발표합니다. 연구팀은 '주의 집중-신뢰도 가정'에 도전하며, 신뢰성은 시각적 접지가 아닌 생성 역학 및 자기 일관성(Self-Consistency)을 통해 예측됨을 입증했습니다.

핵심 포인트

• 시각적 주의 집중과 모델 정확도 사이의 상관관계는 거의 없음(R ≈ 0.001)
• 모델의 신뢰성은 자기 일관성(Self-Consistency)이 가장 강력한 예측 변수임
• 시각적 특징을 조기에 고정하지만 이후 주의 집중이 분산되는 '상징적 분리' 현상 발견
• PaliGemma와 Qwen2-VL은 LLaVA보다 높은 신뢰성 회복 탄력성을 보임