시각적 도구 사용의 환상: 이미지 기반 사고에 대한 인과적 감사 (A Causal Audit of Thinking with Images)
요약
멀티모달 LLM의 시각적 도구 사용(crop-and-zoom 등)이 실제 추론에 인과적 기여를 하는지 분석한 연구입니다. 분석 결과, 많은 모델이 비용 대비 낮은 성능을 보이거나 무의미한 시각적 정보를 호출하는 '시각적 도구 사용의 환상' 현상을 보임을 발견했습니다.
핵심 포인트
- 시각적 도구 사용이 정답에 인과적 영향을 미치는지 검증하는 인과 그래프 프레임워크 제안
- 모델이 관련 없는 영역을 자르거나 정답을 맞힐 수 있는 질문에 실패하는 현상 분석
- 정책 미보정의 두 가지 실패 모드: '보지 않고 호출하기'와 '계획 없이 보기' 규명
- 시각적 도구 사용의 이득이 일부 보정된 소수 사례에만 집중됨을 확인
"이미지로 사고하기 (thinking-with-images)" 패러다임은 멀티모달 LLM (Multimodal LLMs)에 자르기 및 확대 (crop-and-zoom)와 같은 능동적인 시각적 연산을 제공합니다. 그러나 이러한 연산을 사용하는 모델들은 훨씬 더 높은 토큰 비용을 소모함에도 불구하고, 직접 추론 (direct inference)에 비해 미미하거나 오히려 부정적인 이득만을 얻는 경우가 많습니다. 또한 모델은 관련 없는 영역을 반복적으로 자르거나, 직접 추론으로는 정답을 맞힐 수 있는 질문에 실패하기도 합니다. 우리는 반환된 시각적 증거가 정답에 인과적으로 영향을 미치는지 질문합니다. 이 질문에 답하기 위해, 우리는 시각적 도구 사용을 관찰 매개 경로 (observation-mediated paths)와 행동 유도 지름길 (action-induced shortcuts)을 분리하는 인과 그래프 (causal graph)로 공식화합니다. 그런 다음 우리는 세 가지 수준에서의 개입 (interventions)을 통해 이를 감사합니다: 정책 (policy, 도구 사용과 직접 추론 비교), 궤적 (trajectory, 롤아웃 중 모든 관찰 데이터 오염), 그리고 단계 (step, 고정된 접두사 아래에서 개별 관찰 하나를 반사실적으로 교체). 우리의 단계 수준 추정량인 시각적 증거 이득 (Visual Evidence Gain)은 반환된 각 관찰의 기여도를 분리합니다. 6개의 대표적인 모델과 5개의 세밀한 인지 벤치마크를 통해, 우리는 두 가지 실패 모드를 가진 정책 미보정 (policy miscalibration)을 발견합니다. '보지 않고 호출하기 (Calling Without Looking)'에서 반환된 관찰은 정답에 인과적 영향을 미치지 않습니다. '계획 없이 보기 (Looking Without Planning)'에서 관찰은 유익하지만 호출 일정 (call schedule)이 일관되지 않습니다. 궤적 수준의 진단은 정책 수준의 정확도 이득을 분해하며, 이 이득이 보정된 소수 (Calibrated minority)에 집중되어 있음을 보여줍니다. 우리는 이러한 불일치를 시각적 도구 사용의 환상 (illusion of visual tool-use)이라고 명명합니다: 총체적인 정확도 향상에도 불구하고, 시각적 도구 사용은 광범위한 롤아웃 (rollouts) 전반에 걸쳐 인과적으로 효과적이지 않습니다. 코드는 https://github.com/OpenCausaLab/CauAudit 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기