비전-언어 모델 추론에서 시각적 접근 경계
요약
본 연구는 Vision-Language Models (VLMs)의 Chain-of-Thought (CoT) 프롬프팅이 추론 과정 전반에 걸쳐 이미지 토큰 접근을 연장하는지 분석했습니다. 그 결과, CoT가 성능 개선을 위해 직접적인 이미지 토큰 접근을 늘리기보다는, 이미지에서 파생된 은닉 상태 정보에 대한 언어적 계산을 확장하여 성능을 향상시키는 것으로 나타났습니다.
핵심 포인트
- CoT는 이미지 토큰의 지속적인 접근보다 은닉 상태 기반의 언어 계산 확장이 핵심이다.
- CoT의 이득은 시각적 속성이 모델에 의해 신뢰성 있게 판독될 수 있을 때만 발생한다.
- 병목 현상은 개수 세기(counting)보다는 복잡한 속성 판독(readout)에 있다.
Chain-of-Thought (CoT) 프롬프팅은 Vision-Language Models (VLMs)의 테스트 시간 스케일링 전략으로 널리 사용되지만, VLM이 더 긴 추론 과정을 생성할 때 무엇이 확장되는지는 여전히 불분명합니다. 우리는 CoT가 이미지 토큰에 대한 지속적인 접근을 요구하는지, 아니면 주로 순방향 전파(forward pass) 초기에 이미 제공된 시각적 정보 위에서 작동하는지를 질문합니다. 우리는 레이어 깊이와 생성 시간에 걸쳐 생성된 토큰 쿼리로부터 이미지 토큰 키에 대한 어텐션을 마스킹하는 인과 개입(causal intervention)인 Visual Access Sweep을 도입하고, 과제 정확도를 유지하는 최소 접근 영역으로 Visual Access Boundary (VAB)를 정의합니다. Qwen2.5-VL 및 InternVL3의 여섯 가지 모델 구성을 거쳐, CoT가 없는 직접 답변 방식과 CoT 프롬프팅 모두 유한한 VAB를 보였습니다. Qwen2.5-VL-32B와 14B 및 38B 규모의 InternVL3에서, CoT를 no-CoT 전체 접근 목표와 비교했을 때, 그 VAB 레이어는 훨씬 더 긴 생성에도 불구하고 no-CoT 경계와 최대 두 레이어만 다릅니다. 이는 CoT가 추론 과정 전반에 걸쳐 직접적인 이미지 토큰 접근을 연장함으로써 성능을 주로 개선하는 것이 아니라, 이미지에서 파생된 은닉 상태 정보(hidden-state information)에 대한 언어 측 계산을 확장함으로써 개선한다는 것을 시사합니다. 나아가 우리는 CoT의 이득이 지각적 판독(perceptual readout)에 의해 제약된다는 것을 보여줍니다. CoT는 질의된 시각적 속성이 모델에 의해 신뢰성 있게 판독될 수 있을 때 도움이 되지만, 그 판독이 신뢰할 수 없을 때는 그렇지 않습니다. 상징적-속성 오라클(symbolic-attribute oracle)은 정답 속성을 텍스트로 제공했을 때 CoT가 개수를 세는 것(counting)을 개선할 수 있음을 보여주고, 단일 객체 프로브 대 디코드 검사(single-object probe-vs-decode check)는 어려운 속성들이 은닉 상태로부터 선형적으로 복구될 수는 있지만 모델 자체에게 출력하기는 어렵다는 것을 보여줍니다. 종합적으로 이러한 분석들은 병목 현상이 개수 세기보다는 판독에 있음을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기