비전-언어 모델 추론에서 시각적 접근 경계

요약

본 연구는 Vision-Language Models (VLMs)의 Chain-of-Thought (CoT) 프롬프팅이 추론 과정 전반에 걸쳐 이미지 토큰 접근을 연장하는지 분석했습니다. 그 결과, CoT가 성능 개선을 위해 직접적인 이미지 토큰 접근을 늘리기보다는, 이미지에서 파생된 은닉 상태 정보에 대한 언어적 계산을 확장하여 성능을 향상시키는 것으로 나타났습니다.

핵심 포인트

• CoT는 이미지 토큰의 지속적인 접근보다 은닉 상태 기반의 언어 계산 확장이 핵심이다.
• CoT의 이득은 시각적 속성이 모델에 의해 신뢰성 있게 판독될 수 있을 때만 발생한다.
• 병목 현상은 개수 세기(counting)보다는 복잡한 속성 판독(readout)에 있다.