잠재적 시각적 추론 (Latent Visual Reasoning)을 가로막는 장애물은 무엇인가?

요약

본 연구는 시각-언어 모델(VLM)이 중간 시각적 단계를 시뮬레이션하는 '잠재적 시각적 추론' 과정에서 겪는 한계를 분석합니다. 실험 결과, 현재 모델들은 잠재 토큰을 인과적으로 활용하지 못하고 있으며, 이는 정보가 부족한 데이터셋과 추론 시 발생하는 잠재 토큰의 표현 붕괴(collapsing) 현상 때문인 것으로 밝혀졌습니다.

핵심 포인트

• 잠재 토큰을 더미 토큰으로 교체해도 모델의 정확도에 큰 영향이 없음을 발견하여, 현재 모델의 낮은 인과적 의존성을 확인했습니다.
• 기존 데이터셋의 오라클 잠재 토큰이 과업을 실질적으로 단순화할 만큼 충분한 정보를 제공하지 못해 모델이 이를 무시하는 경향이 있습니다.
• 추론 과정에서 생성되는 잠재 토큰이 오라클 표현에서 벗어나 좁은 영역으로 붕괴되는 문제가 발생합니다.
• 잠재적 시각적 추론의 발전을 위해서는 고품질의 중간 단계 데이터셋과 정밀한 잠재 토큰 예측 기술이 필수적입니다.