MathVis-Fine: 점진적 의존성 가이드 학습을 통해 시각적 감독을 필요성에 맞춰 정렬하는 멀티모달 수학적 추론 방법론

사고의 사슬 (Chain-of-Thought (CoT)) 추론은 순수 언어 영역에서 멀티모달 (multimodal) 시나리오로 확장되었습니다. 그러나 기존 방식들은 시각적 입력을 동질적이거나 보조적인 신호로 취급하는 경우가 많아, 수학 문제 해결 과정에서 텍스트와 이미지 사이의 복잡하고 샘플별로 특화된 의존성을 포착하지 못합니다. 이는 두 가지 핵심적인 문제를 야기합니다. 첫째, 시각적 콘텐츠에 대한 감독 신호 (supervisory signals)가 일반화되어 있고 거칠게 구성되어 있어, 각 샘플 내 시각 정보의 실제 필요성에 적응하지 못합니다. 둘째, 입력값들 사이의 상호 보완적 관계를 구분하지 않고 시각적 보상 (visual rewards)을 일률적으로 적용할 때 학습 피드백이 부정확해집니다. 이러한 한계는 모델이 정밀한 멀티모달 추론을 달성하는 것을 방해합니다. 본 연구에서는 수학적 추론에서 미세한 시각적 의존성을 모델링하기 위한 프레임워크를 제안합니다. 먼저, 미세한 시각적 주석 (visual annotations)을 시각적 의존성 등급 (visual dependency ratings)으로 증강하여 MathVis-Fine 데이터셋을 구축합니다. 이 데이터셋을 바탕으로, 각 샘플의 고유한 시각적 의존성 수준에 따라 정답 정확도 보상 (answer correctness rewards)과 시각적 접지 보상 (visual grounding rewards)의 균형을 맞추는 2단계 점진적 시각 강화 학습 패러다임을 도입하며, 이를 통해 보상 편향 (reward bias)을 완화하고 감독 정확도를 향상시킵니다. 광범위한 실험을 통해 MathVis-Fine 프레임워크가 시각적 의존성에 기반하여 시각적 인지 능력을 효과적으로 점진적 강화하며, 멀티모달 수학적 추론을 위한 더욱 정밀한 학습 프레임워크를 제공함을 입증합니다. 데이터셋은 논문 채택 시 공개할 예정입니다.