상호작용 세계 모델 성능 평가 벤치마킹: iWorld-Bench 소개

요약

본 논문은 AGI 달성에 필수적인 상호작용 능력을 평가하기 위한 종합 벤치마크인 'iWorld-Bench'를 소개합니다. 이 벤치마크는 거리 감지, 기억 등 실제 물리적 상호작용 관련 능력을 테스트할 수 있도록 설계되었으며, 다양한 환경과 날씨 조건의 대규모 비디오 클립을 기반으로 구축되었습니다. iWorld-Bench는 행동 생성 프레임워크와 6가지 작업 유형을 통해 모델의 시각적 생성, 궤도 추종, 기억 성능을 종합적으로 평가합니다.

핵심 포인트

• AGI 달성을 위해 상호작용 능력을 평가할 수 있는 대규모 통합 벤치마크가 필요하다는 문제 제기.
• iWorld-Bench는 거리 감지 및 기억 등 물리적 상호작용 관련 능력을 테스트하는 종합적인 벤치마크이다.
• 33만 개의 비디오 클립을 기반으로 구축되었으며, 행동 생성 프레임워크와 6가지 작업 유형을 통해 평가의 통일성을 확보했다.
• 이 벤치마크를 사용하여 기존 세계 모델 14개를 평가하고 주요 한계점을 분석하여 향후 연구 방향에 기여한다.