PDCR: 시각-언어 추론을 위한 지각 분해 신뢰도 보상 (Perception-Decomposed Confidence Reward)

요약

본 논문은 시각-언어(V-L) 추론 학습의 어려움을 해결하기 위해 PDCR(Perception-Decomposed Confidence Reward)이라는 새로운 프레임워크를 제안합니다. 기존의 전역적 보상 방식은 V-L 작업의 이질적인 구조 때문에 신호 저하를 유발하여 시각 단계의 학습이 텍스트 단계에 의해 왜곡되는 문제가 있었습니다. PDCR은 비지도 기술 분해와 모델 내부의 '시각 의존도 점수'를 활용하여 지각 단계와 추론 단계를 분리하고, 각 클러스터 내에서 신뢰도 이득을 정규화함으로써 안정적이고 정확하게 스케일링된 학습 신호를 제공합니다.

핵심 포인트

• V-L 추론은 시각적 지각과 텍스트 추론이 혼합된 이질적인 구조를 가지므로, 단순한 전역 보상 방식 적용에 한계가 있다.
• 기존의 전역 보상은 '혼합으로 인한 신호 저하'를 유발하여 각 단계별 학습 신호를 왜곡시킨다.
• PDCR은 비지도 기술 분해와 시각 의존도 점수를 사용하여 지각(Perception)과 추론(Reasoning) 단계를 명확히 분리한다.
• 분리된 각 클러스터 내에서 신뢰도 이득을 정규화하여, 모든 단계에 안정적이고 올바르게 스케일링된 보상을 제공한다.