시각적 도구 사용의 환상: 이미지 기반 사고에 대한 인과적 감사 (A Causal Audit of Thinking with Images)

요약

멀티모달 LLM의 시각적 도구 사용(crop-and-zoom 등)이 실제 추론에 인과적 기여를 하는지 분석한 연구입니다. 분석 결과, 많은 모델이 비용 대비 낮은 성능을 보이거나 무의미한 시각적 정보를 호출하는 '시각적 도구 사용의 환상' 현상을 보임을 발견했습니다.

핵심 포인트

• 시각적 도구 사용이 정답에 인과적 영향을 미치는지 검증하는 인과 그래프 프레임워크 제안
• 모델이 관련 없는 영역을 자르거나 정답을 맞힐 수 있는 질문에 실패하는 현상 분석
• 정책 미보정의 두 가지 실패 모드: '보지 않고 호출하기'와 '계획 없이 보기' 규명
• 시각적 도구 사용의 이득이 일부 보정된 소수 사례에만 집중됨을 확인