VideoNet: 도메인 특화 행동 인식용 대규모 데이터셋

요약

본 논문은 충분히 다양하고 도전적인 행동 인식 데이터를 확보하기 어려워진 현 비전-언어 모델(VLMs)의 행동 인식 능력을 재활성화하기 위해 'VideoNet'이라는 도메인 특화 행동 인식 벤치마크를 제안합니다. VideoNet은 37개 도메인의 1,000개 고유 행동을 포함하며, 다양한 평가 설정(다중 선택, 이진 분류, 퓨샷 등)에서 모델들의 성능을 체계적으로 분석했습니다. 나아가, 테스트 시간 개선에만 의존하는 것이 아니라, 대규모의 비디오 질문-답변 쌍(약 50만 개)으로 구성된 도메인 특화 행동 인식 훈련 데이터셋을 구축하고 이를 활용하여 오픈 웨이트 모델의 성능을 향상시키는 방법을 제시했습니다.

핵심 포인트

• VideoNet은 37개 도메인의 1,000개 고유 행동을 포함하는 대규모 도메인 특화 행동 인식 벤치마크이다.
• VLMs는 VideoNet과 같은 복잡한 행동 인식 작업에서 평가 설정(다중 선택, 퓨샷 등)에 따라 성능 편차가 크고, 인간의 예시 제공 효과를 완전히 활용하지 못한다.
• 단순 테스트 시간 개선을 넘어, 약 50만 개의 비디오 질문-답변 쌍으로 구성된 도메인 특화 행동 인식 훈련 데이터셋 구축이 중요하다.
• 새로 구축한 데이터셋으로 미세 조정된 오픈 웨이트 모델(Molmo2-4B)은 VideoNet 벤치마크에서 최신 오픈 웨이트 8B 모델들을 능가하는 성능을 보였다.