World Embedding Benchmark

세계 모델(world model)과 비디오 생성 분야에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있지만, 비디오 표현이 물리 정보를 어떻게 인코딩하는지에 대해서는 여전히 이해가 부족합니다. 저희는 유체 역학(fluid mechanics), 고체 역학(solid mechanics), 동역학(dynamics), 광학 및 전자기학(optics & electromagnetism)을 아우르는 80개 분야의 8,000개 제어 시뮬레이션 사례로 구성된 World Embedding Benchmark를 소개합니다. 각 사례는 렌더링된 비디오와 시뮬레이션에서 파생된 물리적 주석(physical annotations) 쌍으로 이루어져 있으며, 텍스트-비디오 검색(text-video retrieval), 물리 속성 회귀(physical-property regression), 다중 선택 비디오-설명 쌍 분류(multiple-choice video-description pair classification)라는 세 가지 보완적인 작업을 지원합니다. 저희는 이러한 작업들을 사용하여 모달 간의 물리적 정렬(cross-modal physical alignment)과 정량적 물리 정보의 복구 가능성(recoverability of quantitative physical information)을 구별하는 데 사용했습니다. 평가된 사전 학습된 범모달 임베딩 모델들은 약한 검색 성능과 근접한 우연 수준의 내부 분야 쌍 분류를 보였으며, 반면 경량 프로브(lightweight probes)는 고정된 비디오 임베딩으로부터 유용한 물리 정보를 복구했습니다. 물리 특이적 비디오-텍스트 쌍을 사용한 지속적인 대조 학습(Continual contrastive training)은 검색 및 쌍 분류 성능을 향상시키지만, 물리 속성 회귀를 저하시켜 정렬과 정량적 정보 복구 가능성 사이의 상충 관계(trade-off)를 드러냈습니다. 마지막으로, 저희는 임베딩을 사용하여 MiniMax-H3와 함께 검색 증강 생성(retrieval-augmented generation)을 위한 참조 비디오를 검색했습니다. 검색된 참조들은 생성된 비디오의 물리적 충실도를 개선했으며, 더 강력한 검색 모델이 실험에서 더 큰 이득을 가져왔습니다. 종합적으로 이러한 발견들은 물리적 정렬과 속성 복구 가능성을 함께 평가할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리 표현의 유용성을 입증합니다.