보는 것에서 생각하는 것으로: 인지(Perception)와 추론(Reasoning)의 분리가 시각-언어 모델(VLM)의 사후

요약

본 연구는 시각-언어 모델(VLM)의 성능 저하가 추론 능력이 아닌 시각적 인지 능력의 부족에서 기인한다는 점을 밝히고, 이를 해결하기 위한 단계별 학습(Staged Training) 방법론을 제안합니다. 모델의 학습 과정을 시각적 인지, 시각적 추론, 텍스트 추론의 세 단계로 분리하여 학습함으로써, 인지 능력이 추론의 근본적인 토대 역할을 수행하도록 설계했습니다. 실험 결과, 이러한 단계별 접근 방식은 통합 학습보다 높은 정확도를 보였으며, 더 짧은 추론 경로로도 우수한 성능을 달성했습니다.

핵심 포인트

• VLM의 성능 한계는 추론 능력보다 시각적 인지(Visual Perception)의 부족에서 주로 발생함
• 학습 과정을 시각적 인지, 시각적 추론, 텍스트 추론의 세 단계로 분리하는 단계별 학습(Staged Training)이 효과적임
• 시각적 인지는 강화학습(RL)을 통해 학습할 때 캡션 기반의 SFT보다 더 효과적으로 최적화됨
• 우수한 인지 능력은 추론 경로를 단축시키면서도 정확도를 높이는 효과를 가져옴
• 능력 기반의 단계 설정과 난이도 기반 커리큘럼을 결합할 때 추가적인 성능 향상이 가능함