보는 것에서 생각하는 것으로: 인지(Perception)와 추론(Reasoning)의 분리가 시각-언어 모델(VLM)의 사후
요약
본 연구는 시각-언어 모델(VLM)의 성능 저하가 추론 능력이 아닌 시각적 인지 능력의 부족에서 기인한다는 점을 밝히고, 이를 해결하기 위한 단계별 학습(Staged Training) 방법론을 제안합니다. 모델의 학습 과정을 시각적 인지, 시각적 추론, 텍스트 추론의 세 단계로 분리하여 학습함으로써, 인지 능력이 추론의 근본적인 토대 역할을 수행하도록 설계했습니다. 실험 결과, 이러한 단계별 접근 방식은 통합 학습보다 높은 정확도를 보였으며, 더 짧은 추론 경로로도 우수한 성능을 달성했습니다.
핵심 포인트
- VLM의 성능 한계는 추론 능력보다 시각적 인지(Visual Perception)의 부족에서 주로 발생함
- 학습 과정을 시각적 인지, 시각적 추론, 텍스트 추론의 세 단계로 분리하는 단계별 학습(Staged Training)이 효과적임
- 시각적 인지는 강화학습(RL)을 통해 학습할 때 캡션 기반의 SFT보다 더 효과적으로 최적화됨
- 우수한 인지 능력은 추론 경로를 단축시키면서도 정확도를 높이는 효과를 가져옴
- 능력 기반의 단계 설정과 난이도 기반 커리큘럼을 결합할 때 추가적인 성능 향상이 가능함
최근 시각-언어 모델 (Vision-Language Models, VLMs)의 발전은 긴 사고 사슬 (Chain-of-Thought, CoT) 추론을 강조하고 있습니다. 그러나 우리는 시각적 작업에서의 성능이 추론 자체보다는 주로 시각적 인지 (Visual Perception)의 부족으로 인해 제한된다는 것을 발견했습니다. 본 연구에서는 전문화된 학습 데이터를 통합하여 모델의 능력을 시각적 인지 (Visual Perception), 시각적 추론 (Visual Reasoning), 텍스트 추론 (Textual Reasoning)의 세 가지 별도 학습 단계로 분해함으로써, VLM 사후 학습 (Post-Training) 과정에서의 인지와 추론 사이의 상호작용을 체계적으로 연구합니다. 우리는 시각적 인지가 (a) 전문화된 데이터를 통한 타겟 최적화를 필요로 하며, (b) 시각적 추론을 정교화하기 전에 단계별 학습을 통해 공고히 되어야 하는 근본적인 비계 (Scaffold) 역할을 하고, (c) 캡션 기반의 지도 미세 조정 (Supervised Fine-Tuning, SFT)보다 강화학습 (Reinforcement Learning, RL)을 통해 더 효과적으로 학습된다는 것을 입증합니다. 다양한 VLM에 걸친 실험을 통해, 단계별 학습 (Staged Training)이 통합 학습 (Merged Training)보다 시각적 인지와 추론 성능을 일관되게 향상시킨다는 것을 보여줍니다. 특히, 우리의 접근 방식으로 학습된 모델은 추론 경로 (Reasoning Traces)가 20.8% 더 짧으면서도 추론 정확도는 1.5% 더 높게 달성하였으며, 이는 우수한 인지가 과도한 추론의 필요성을 줄여준다는 것을 시사합니다. 나아가, 우리는 이러한 능력 기반의 단계 설정이 전통적인 난이도 기반 커리큘럼 (Difficulty-based Curricula)과 직교하는 새로운 커리큘럼 차원을 나타내며, 두 가지를 결합했을 때 추가적인 가산적 이득 (Additive Gains)을 얻을 수 있음을 보여줍니다. 우리의 단계별 학습 모델은 오픈 웨이트 (Open-weight) VLM들 사이에서 우수한 성능을 달성하였으며, 베이스 모델과 비교하여 여러 시각적 수학 및 인지 작업(예: WeMath에서 +5.2%, RealWorldQA에서 +3.7%)에서 진보된 결과를 확립했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기