가볍게 보고 무겁게 생각하기: 멀티모달 사고의 연쇄 (Multimodal Chain-of-Thought) 추론이 할 수 있는 것과 할 수 없는

사고의 연쇄 (Chain-of-Thought, CoT)는 단계별 사고를 유도함으로써 대규모 언어 모델 (Large Language Models, LLMs)의 추론 능력을 향상시키는 표준적인 방법이 되었지만, 멀티모달 (Multimodal) 작업에서의 효과는 여전히 불분명합니다. 본 논문에서 우리는 다음과 같은 핵심 질문을 체계적으로 조사하고자 합니다: 멀티모달 사고의 연쇄 (Multimodal Chain-of-Thought) 추론은 무엇을 할 수 있으며, 어디에서 왜 한계를 보이는가? 이를 위해 우리는 14개의 비추론 모델 (non-reasoning models)과 8개의 추론 모델 (reasoning models)을 사용하여 인지 (perception) 및 추론 (reasoning) 범주에 걸친 12개의 멀티모달 작업을 평가합니다. 우리의 분석은 몇 가지 중요한 발견을 제시합니다: (1) CoT는 공짜 점심이 아니며, 각 작업의 특정 요구 사항에 따라 선택적으로 사용되어야 합니다. 인지 작업의 경우, CoT는 시각적 접지 (visual grounding) 및 객체 수 세기 (object counting) 성능 저하와 같은 바람직하지 않은 부작용을 초래할 수 있습니다. 반면, 수학, 과학 및 다중 이미지 추론 (multi-image reasoning)을 포함하는 추론 작업에는 효과적임이 입증되었습니다; (2) 기존 모델과 비교했을 때, 기존의 오픈 소스 멀티모달 추론 모델들은 종종 미미한 전체적 향상만을 보여주는데, 이는 아마도 광범위한 능력을 희생하면서 수학적 추론에 과도하게 집중했기 때문일 수 있습니다; (3) 시각적 추론 (Visual reasoning)은 현재 멀티모달 CoT의 주요 병목 현상으로 남아 있습니다. 모델들은 추론 과정 동안 언어적 성찰 (verbal reflection)은 오르내리는 반면, 시각적 성찰 (visual reflection)은 지속적으로 감소하는 '가볍게 보고 무겁게 생각하기 (Look Light, Think Heavy)' 패턴을 보이기 때문입니다. 이러한 발견은 멀티모달 CoT가 언어적 성찰은 비교적 잘 처리하지만, 추론 과정 전반에 걸쳐 깊은 시각적 자기 성찰 (visual introspection)을 유지하는 능력은 부족함을 시사합니다.