V-tableR1: 테이블 기반 다중 모드 추론을 위한 프로세스 감독 강화학습

요약

본 논문은 멀티모달 LLM(MLLMs)의 시각적 추론 능력을 향상시키기 위해 V-tableR1이라는 프로세스 감독 강화학습 (process-supervised RL) 프레임워크를 제안합니다. 기존 MLLMs는 최종 결과에만 초점을 맞춰 복잡한 다단계 추론 과정이 불투명하거나 표면적인 패턴 매칭에 의존하는 경향이 있습니다. V-tableR1은 테이블의 결정적 그리드 구조를 활용하여 이러한 문제를 해결하며, 전문 비평가 VLM(Critic VLM)을 이용해 정책 VLM(Policy VLM)이 생성한 명시적인 시각적 사고 과정(chain

핵심 포인트

• V-tableR1은 MLLM의 추론 과정을 감독하는 프로세스 기반 강화학습 프레임워크입니다.
• 테이블 구조를 활용하여 복잡하고 검증 가능한 다단계 논리 전개에 초점을 맞춥니다.
• 새로운 알고리즘인 PGPO(Process-Guided Direct Alignment Policy Optimization)를 통해 시스템을 최적화했습니다.
• V-tableR1은 시각적 환각이나 지름길 추측을 명시적으로 페널티 부여하여 성능을 향상시킵니다.