상호작용 세계 모델 성능 평가 벤치마킹: iWorld-Bench 소개

인공지능 일반화 지능 (AGI) 을 달성하기 위해서는 학습 및 적응적 상호작용을 수행할 수 있는 에이전트가 필요하며, 상호작용 세계 모델은 감각, 추론, 행동에 대한 확장 가능한 환경을 제공합니다. 그러나 현재 연구는 여전히 물리적 상호작용 능력을 평가하기 위한 대규모 데이터셋과 통합 벤치마크가 부족합니다. 이를 해결하기 위해 우리는 거리 감지 및 기억 등 상호작용 관련 능력에서 세계 모델을 훈련하고 테스트할 수 있는 종합적인 벤치마크인 iWorld-Bench 를 제안합니다. 다양한 관점, 날씨, 장면을 포함하는 330k 개의 비디오 클립으로 구성된 다양한 데이터셋을 구축하고, 2.1k 개의 고품질 샘플을 선택했습니다. 기존 세계 모델이 상호작용 모달리티에서 차이가 있으므로 평가와 통합을 위해 행동 생성 프레임워크 (Action Generation Framework) 를 도입하고 6 가지 작업 유형을 설계하여 4.9k 개의 테스트 샘플을 생성했습니다. 이 작업들은 시각적 생성, 궤도 추종, 기억에 대한 모델 성능을 종합적으로 평가합니다. 14 개의 대표적 세계 모델을 평가하여 주요 한계를 파악하고 향후 연구에 통찰력을 제공했습니다. iWorld-Bench 모델 리더보드 는 공개적으로 iWorld-Bench.com 에서 이용 가능합니다.