시각 정보는 거짓말을 하고 일관성이 말한다: 시각-언어 모델(Vision-Language Models)에서 공간적 주의 집중(Spatial

멀티모달 파운데이션 모델(Multimodal Foundation Models)이 추론 에이전트(reasoning agents)로 점점 더 많이 사용됨에 따라, 신뢰성(reliability), 즉 모델이 언제 환각(hallucinate)을 일으킬 수 있는지 아는 것이 매우 중요해졌습니다. 우리가 '주의 집중-신뢰도 가정(Attention-Confidence Assumption)'이라고 부르는 일반적인 직관은, 신뢰성이 '구조적(structural)' 시각 인지에서 비롯된다고 믿습니다. 즉, 관련 영역에 대한 긴밀한 주의 집중(tight attention)은 신뢰할 수 있는 답변의 신호가 되는 반면, 분산된 주의 집중(scattered attention)은 혼란의 신호가 된다는 것입니다. 우리는 현대 시각-언어 모델(Vision-Language Models, VLMs)의 신뢰성 신호에 대한 체계적인 교차 계열 연구인 VLM 신뢰성 프로브(VLM Reliability Probe, VRP)를 통해 이 가설에 도전합니다. 우리는 시각 인코더(visual encoder)의 시선을 정량화하기 위해 클러스터 수(cluster counts, C_k)와 공간 엔트로피(spatial entropy, H_s)라는 구조적 주의 집중 지표를 도입하고, 레이어를 가로지르는 그 진화 과정(Delta H_s)을 추적합니다. 이를 통해 '상징적 분리(Symbolic Detachment)' 현상이 드러납니다. 모델들은 종종 시각적 특징을 '조기 고정(Early Lock)'하지만, 이후에는 주의 집중을 확산시켜 초기 인지와 최종 생성(generation) 사이의 연결을 끊어버립니다. 접지 가설(grounding hypothesis)과는 반대로, 우리는 '클러스터 실패(Cluster Failure)'를 발견했습니다. 공간적 주의 집중(spatial attention)은 정확도와 거의 제로에 가까운 상관관계(R ≈ 0.001)를 보입니다. 대신, 신뢰성은 생성 역학(generation dynamics)과 내부 상태 분포(internal-state distributions)의 현상입니다. 샘플링된 추론 경로 간의 일치율인 자기 일관성(Self-Consistency)이 진실을 예측하는 지배적인 예측 변수(R = 0.429)입니다. 인과적 개입(causal interventions)의 스케일링을 통해 급격한 아키텍처적 차이가 드러납니다. LLaVA는 취약한 후기 단계의 병목(bottleneck) 구간에서 예측을 고정하는 반면, PaliGemma와 Qwen2-VL은 신뢰성을 전역적으로 분산시켜, 가장 예측력이 높은 레이어의 약 50% 이상이 파괴되더라도 회복 탄력성(resilient)을 유지합니다. 현재의 VLMs에게 있어 신뢰성 신호는 시각적 접지 맵(visual grounding maps)과는 분리되어 있으며, 생성 시점의 역학(generation-time dynamics)과 은닉 상태 프로브(hidden-state probes)를 통해 추론하는 것이 가장 적절합니다.