PhyCo: 생성형 모션 학습을 위한 제어 가능한 물리 사전 지식 학습

요약

PhyCo는 기존 비디오 확산 모델이 겪는 물리적 불일치 문제를 해결하기 위해 설계된 새로운 프레임워크입니다. 이 접근법은 대규모의 물리 시뮬레이션 데이터셋, 물리 속성 맵 기반의 ControlNet을 사용한 미세 조정, 그리고 VLM(비전-언어 모델) 가이드 보상 최적화를 결합합니다. 이를 통해 추론 과정에서 복잡한 시뮬레이터 없이도 마찰력이나 탄성 같은 물리적 속성의 변화를 제어하며 높은 수준의 물리적 일관성을 갖춘 생성형 비디오를 생성할 수 있습니다.

핵심 포인트

• PhyCo는 비디오 확산 모델의 물리적 불일치 문제를 해결하는 프레임워크이다.
• 핵심 구성 요소로는 대규모 물리 시뮬레이션 데이터셋, 물리 속성 맵 기반 ControlNet을 이용한 미세 조정, VLM 가이드 보상 최적화가 포함된다.
• 이 방법론은 복잡한 외부 시뮬레이터나 기하학 재구성 없이도 물리적 속성을 제어하며 비디오를 생성할 수 있게 한다.
• Physics-IQ 벤치마크에서 기존 모델 대비 월등히 높은 물리적 현실감을 입증했다.