음악으로부터 장시간, 고화질이며 리듬적으로 동기화된 춤 영상을 직접 생성하는 것은 여전히 중요한 과제입니다. 이는 주로 현재 확산 모델(diffusion models)의 시간적 제약 때문인데, 이 모델들은 일반적으로 20초를 넘어서면 실패합니다. 기존 접근 방식들, 즉 중간 3D 스켈레톤에 의존하든 엔드투엔드 비디오 합성(end-to-end video synthesis)에 의존하든, 더 긴 시간으로 확장될 때 시간적 드리프트(temporal drift), 정체성 불일치(identity inconsistency), 그리고 반복적인 움직임 패턴의 문제점을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 분 단위의 일관된 음악 기반 춤 영상 생성을 위한 새로운 계층적 프레임워크를 제안합니다. 저희 방법은 전역 키프레임 계획(global keyframe planning)과 국소 시간 정제(local temporal refinement)로 프로세스를 분리하여, 전체 트랙 음악적 맥락을 활용해 장거리 일관성(long-range coherence)을 보장합니다. 주요 혁신 사항으로는 정확한 정렬을 위한 시간 매핑된 RoPE 임베딩(time-mapped RoPE embeddings)을 통한 동적 프레임 속도 적응, 움직임 연속성을 향상시키기 위한 광학 흐름 기반 손실 함수(optical-flow-based loss function), 그리고 빠른 움직임 중에도 고화질 디테일을 유지하기 위한 동작 속도 제어(motion-speed control)가 있습니다. 광범위한 실험 결과는 저희 프레임워크가 기존의 지속 시간 장벽을 뛰어넘어, 우수한 시간적 안정성을 가진 720p/30fps 영상 중 1분을 초과하는 영상을 생성함을 입증합니다. 더욱이, 이 모델은 오디오와 텍스트 프롬프트 모두에 조건화되어 다섯 가지의 서로 다른 춤 장르 전반에 걸쳐 강력한 다용성(robust versatility)을 보여주며, 일관되고 긴 형식의 춤 영상 합성 분야에서 새로운 최첨단(state-of-the-art)을 확립합니다. 🔥 최신 소식!! 2026년 7월 13일: 💃 저희는 Wan-Dancer를 소개합니다. 이 방법은 전역 구조와 시간적 연속성을 가지고 음악으로부터 장시간, 고품질의 리듬 춤 영상을 생성할 수 있습니다. 모델 가중치(model weights)와 추론 코드(inference code)를 공개했습니다. 이제 ModelScope Studio나 HuggingFace Space에서 사용해 볼 수 있습니다!

프로젝트: https://humanaigc.github.io/wan-dancer-project/
GitHub: https://github.com/Wan-Video/Wan-Dancer
HuggingFace: https://huggingface.co/Wan-AI/Wan-Dancer-14B
논문: https://arxiv.org/abs/2607.09581
전체 논문: https://arxiv.org/pdf/2607.09581 submitted by /u/pmttyji [link] [comments]