비디오 이해 보상 모델링: 강력한 벤치마크 및 고성능 보상 모델

요약

본 논문은 비디오 이해 보상 모델링의 발전을 가로막는 평가 벤치마크 및 고품질 데이터 부족 문제를 해결하기 위한 통합 프레임워크를 제안합니다. 연구진은 일반, 장문, 추론 중심 작업을 포괄하는 2,100개의 선호도 쌍을 가진 Video Understanding Reward Bench (VURB)와 대규모 감독 데이터를 제공하는 Video Understanding Preference Dataset (VUP-35K)를 구축했습니다. 이 데이터셋을 기반으로 판별적(VideoDRM) 및 생성적(VideoGRM) 보상 모델을 훈련시켜, 기존 벤치마크에서 최첨단 성능을 달성했음을 입증합니다.

핵심 포인트

• 비디오 이해 보상 모델링의 핵심 병목 현상은 견고한 평가 벤치마크와 대규모 고품질 데이터 부족에 있음.
• Video Understanding Reward Bench (VURB)를 소개하여 일반, 장문, 추론 중심 비디오 작업을 포괄하는 표준화된 평가 환경을 제공함.
• 자동화 파이프라인으로 Video Understanding Preference Dataset (VUP-35K)를 구축하여 대규모의 고품질 감독 데이터를 확보함.
• VideoDRM(판별적)과 VideoGRM(생성적) 두 가지 보상 모델을 훈련시켜 최첨단 성능을 달성했으며, 특히 best-of-$N$ 테스트에서 이점을 입증함.