요약

비디오 MLLM의 시간적-논리적 추론 능력을 평가하기 위한 새로운 벤치마크인 Video-MME-Logical을 소개합니다. 테스트 결과 인간과 AI 모델 간의 극심한 성능 격차가 확인되었습니다.

핵심 포인트

• 비디오 내 시간적-논리적 추론을 위한 새로운 벤치마크 공개
• 5가지 핵심 연산과 25개의 태스크로 구성
• 인간(95.9%) 대비 최고 모델(28.6%)의 낮은 성능 확인
• 500K개의 SFT 샘플로도 추론 격차 해소 불가