기하학적 일관성을 위한 정량적 비디오 월드 모델 평가

요약

본 논문은 생성형 비디오 모델의 핵심 과제인 물리적 타당성 및 기하학적 일관성을 정량적으로 평가하기 위한 새로운 프레임워크 PDI-Bench를 제안합니다. 기존의 주관적이거나 진단 능력이 부족했던 평가 방식과 달리, PDI는 세그멘테이션 및 포인트 트래킹을 통해 객체 중심 관측치를 얻고 이를 3D 월드 공간 좌표로 변환하여 기하학적 실패를 측정합니다. 이 프레임워크는 스케일-깊이 정렬, 3D 움직임 일관성, 3D 구조적 강성 세 가지 차원의 투영 기하학 잔차를 계산하며, 이를 통해 기존 지표로는 포착하기 어려웠던 물리적으로 근거 있는 실패 모드를 진단할 수 있습니다.

핵심 포인트

• PDI-Bench는 생성형 비디오 모델의 기하학적 일관성을 정량적으로 평가하는 새로운 프레임워크이다.
• 평가는 세그멘테이션 및 포인트 트래킹을 통해 객체 중심 관측치를 얻고, 이를 3D 월드 공간 좌표로 변환하여 이루어진다.
• PDI는 스케일-깊이 정렬, 3D 움직임 일관성, 3D 구조적 강성 세 가지 핵심 실패 차원을 측정한다.
• 제안된 PDI 지표는 기존의 일반적인 지각적 지표로는 포착하기 어려운 물리적으로 근거 있는 오류를 진단하는 데 효과적이다.