인간은 언어만으로 추론하기보다 중간 시각적 단계를 정신적으로 시뮬레이션함으로써 복잡한 시각적 문제에 접근할 수 있습니다. 이에 영감을 받아, 최근 시각-언어 모델 (Vision-Language Models)에 관한 여러 연구에서는 연속적인 잠재 토큰 (latent tokens)을 중간 시각적 상상 단계로 사용하는 사고의 사슬 (chain-of-thought) 추론을 탐구해 왔습니다. 본 연구에서는 최근의 모델들이 이러한 잠재 토큰을 어떻게 활용하는지 조사합니다. 놀랍게도, 우리는 잠재 토큰을 정보가 없는 "더미 (dummy)" 토큰으로 교체하더라도 모델의 정확도에 영향이 없다는 것을 발견했습니다. 이는 잠재 토큰이 모델의 최종 예측에서 인과적인 역할을 최소한으로 수행함을 나타냅니다. 이 현상을 더 잘 이해하기 위해, 우리는 오라클 잠재 표현 (oracle latent representations)에 의해 제공되는 훈련 신호와 추론 시 생성되는 잠재 토큰의 품질을 모두 분석합니다. 우리의 실험은 잠재적 시각적 추론을 가로막는 두 가지 결정적인 문제를 드러냅니다. 첫째, 대부분의 기존 데이터셋에서 오라클 잠재 토큰은 원본 이미지 이상의 제한적인 추가 정보만을 제공하며 과업을 실질적으로 단순화하지 못합니다. 이로 인해 모델은 훈련 중에 이를 무시하게 되고, 추론 시에도 이를 효과적으로 우회하게 됩니다. 잠재 토큰이 최종 예측에 충분한 지원을 제공하는 진단 데이터셋 (diagnostic dataset)으로 미세 조정 (fine-tuning)했을 때, 우리는 모델이 잠재 토큰에 인과적으로 의존할 수 있음을 보여줍니다. 둘째, 추론 시 생성되는 잠재 토큰은 그에 대응하는 오라클 표현으로부터 벗어나 좁은 영역으로 붕괴 (collapsing)되며, 모델이 잠재 토큰에 의존하더라도 이점을 얻지 못하게 방해합니다. 종합적으로, 우리의 연구 결과는 향후 잠재적 시각적 추론의 발전이 두 가지 핵심 축, 즉 정보가 풍부한 중간 단계를 포함하는 고품질 데이터셋과 더 정밀한 잠재 토큰 예측에 달려 있음을 시사합니다.