증거 제거된 부정 사례(Evidence-Ablated Negatives)를 활용한 다중 모드 추론 접지

요약

본 논문은 다중 모드 추론 능력을 향상시키기 위해 Evidence-Ablated Negatives를 활용하는 EVAN이라는 강화학습 프레임워크를 제안합니다. 기존의 결과 감독 방식이 신용 할당 모호성에 취약하여 모델이 시각적 증거 대신 언어 사전 지식에 의존하는 문제를 해결하고자 합니다. EVAN은 이미지 패치를 마스킹하여 증거가 제거된 부정 응답을 생성하고, 이를 통해 LMMs가 보다 강력한 다중 모드 추론 능력을 갖추도록 훈련합니다.

핵심 포인트

• 표준 감독 방식의 신용 할당 모호성 문제를 해결하는 것이 핵심입니다.
• EVAN은 증거 제거된 부정 사례(Evidence-Ablated Negatives)를 활용하여 모델을 훈련시킵니다.
• 스케일된 이미지 정보 이득 측정 기준과 혼합 순위 지정 전략이 사용됩니다.
• 실험 결과, EVAN은 모달리티 불균형을 완화하며 기존 RLVR 대비 우수한 성능을 입증했습니다.