시각적 기여도 기반 온-정책 자체 증류를 이용한 강화학습

요약

본 논문은 멀티모달 강화학습(RLVR)의 한계점인 시각적 추론 오류 국소화 문제를 해결하기 위해 '시각적 기여도 기반 온-정책 자체 증류(VAG)'를 제안합니다. VAG는 특권 교사로부터 오는 토큰 수준 수정값이 시각적 증거에 일관되게 기인하는지 검증하여, 비시각적 오염을 방지하고 오류가 있는 업데이트를 강화하는 것을 막습니다.

핵심 포인트

• VAG는 시각적 근거 기반의 특권 토큰 수정을 추가합니다.
• 특정 문제(privileged-correction contamination)를 형식화하고 해결책을 제시했습니다.
• 검증기에서 파생된 장점(advantage)을 최적 앵커로 사용합니다.
• 6가지 시각적 추론 벤치마크에서 SOTA 성능을 달성했습니다.