PhyCo: 생성형 모션 학습을 위한 제어 가능한 물리 사전 지식 학습

현대 비디오 확산 모델 (video diffusion models) 은 외관 합성 (appearance synthesis) 에서 뛰어난 성능을 보이지만, 여전히 물리적 일관성 (physical consistency) 유지에 어려움을 겪고 있습니다. 물체는 떠다니며 (drift), 충돌 시 현실적인 반동 (rebound) 이 부족하고, 재료 반응이 그 기본 속성과 일치하지 않는 경우가 많습니다. 우리는 비디오 생성에 연속적이고 해석 가능하며 물리적으로 기반을 둔 제어 (continuous, interpretable, and physically grounded control) 를 도입하는 프레임워크인 PhyCo 를 제안합니다. 우리의 접근법은 세 가지 핵심 구성 요소를 통합합니다: (i) 마찰, 복원력 (restitution), 변형, 힘 등이 다양한 시나리오에서 체계적으로 변화하는 10 만 개 이상의 초현실적인 시뮬레이션 비디오로 구성된 대규모 데이터셋; (ii) 픽셀 정렬된 물리 속성 맵 (pixel-aligned physical property maps) 에 조건부 (conditioned on) 로 설정된 ControlNet 을 사용하여 사전 학습된 확산 모델을 물리 지도 기반 미세 조정 (physics-supervised fine-tuning) 하는 것; (iii) VLM(비전-언어 모델) 가이드 보상 최적화 (VLM-guided reward optimization) 로, 미세 조정된 비전-언어 모델이 생성된 비디오를 대상 물리 쿼리로 평가하고 미분 가능한 피드백을 제공합니다. 이 조합은 추론 시 시뮬레이터나 기하학 재구성 없이도 물리적 속성의 변화를 통해 물리적으로 일관되고 제어 가능한 출력을 생성하는 생성 모델을 가능하게 합니다. Physics-IQ 벤치마크에서 PhyCo 는 강력한 베이스라인 대비 물리적 현실감을 크게 개선했으며, 인간 연구는 물리적 속성에 대한 명확하고 충실한 제어를 확인했습니다. 우리의 결과는 합성 학습 환경을 넘어 일반화되는 물리적으로 일관되고 제어 가능한 생성형 비디오 모델로 가는 확장 가능한 경로를 보여줍니다.