강화학습 (Reinforcement Learning)을 통한 시각적 근거 기반의 시각-언어 모델 (Vision-Language Models)

요약

기존 시각-언어 모델(LVLM)의 자기 성찰 과정에서 발생하는 시각적 근거 부족 문제를 해결하기 위해 새로운 강화학습 프레임워크인 VRRL을 제안합니다. VRRL은 궤적 접두사 마스킹과 경험 재생 버퍼를 통해 모델이 잘못된 예측으로부터 효과적으로 회복하고 시각적 근거에 기반해 수정하도록 학습시킵니다.

핵심 포인트

• VRRL 프레임워크를 통한 시각적 근거 기반 자기 성찰 유도
• 궤적 접두사 마스킹으로 중간 예측 오류 회복 능력 강화
• 경험 재생 버퍼를 활용해 다양한 실패 상태에 대한 학습 노출
• 분포 외(OOD) 이미지 및 시각적 근거 작업에서 성능 향상 입증