Wan-Dancer: 분 단위의 일관된 음악 기반 춤 영상 생성 프레임워크

요약

Wan-Dancer는 음악을 기반으로 장시간, 고화질의 리듬 춤 영상을 생성하는 새로운 계층적 프레임워크입니다. 기존 확산 모델의 시간적 제약을 극복하기 위해 전역 키프레임 계획과 국소 시간 정제 과정을 분리했습니다. 이 방법은 오디오와 텍스트 조건화를 통해 1분 이상의 일관되고 안정적인 춤 영상을 생성하며, 관련 가중치와 코드를 공개했습니다.

핵심 포인트

• 전통적 확산 모델의 시간적 제약을 극복한 프레임워크 제시
• 전역 키프레임 계획과 국소 시간 정제를 결합하여 장거리 일관성 확보
• 시간 매핑된 RoPE 임베딩 및 광학 흐름 기반 손실 함수 적용
• 오디오와 텍스트 조건화로 다양한 춤 장르에 걸쳐 높은 다용성 입증