Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 음악에 맞춰 춤을 생성하는 새로운 프레임워크를 제시하며, 안무를 원자적 움직임(atomic movements)의 시퀀스로 모델링합니다. 이 구조 인식 접근 방식은 기존 신경망 모델이 놓치던 구조적 불일치를 해결하여, 의미론적으로 일관되고 제어 가능한 댄스 생성을 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기음악에 의해 구동되는 댄스 생성은 리듬적으로 동기화되고 의미론적으로 음악과 일관된 인간의 동작을 생성하는 것을 목표로 합니다. 최근 신경망 접근 방식들은 인상적인 시각적 사실성을 달성했지만, 일반적으로 움직임을 연속 신호로 모델링하고 그 구성적 특성을 무시하여, 생성된 댄스가 구조적으로 불일치하고 제어하기 어렵게 만듭니다. 본 연구에서는 안무를 원자적 움직임(atomic movements)의 시퀀스로 모델링하는 구조 인식 프레임워크를 소개합니다. 원자적 움직임은 춤의 빌딩 블록 역할을 하는 의미론적으로 해석 가능한 동작 이벤트입니다. 이 원자적 움직임 어휘를 구성하기 위해, 먼저 대규모 댄스 데이터를 분할(segment)하고 이를 원자적 움직임 그룹으로 클러스터링했습니다. 그런 다음 대규모 언어 모델(LLM)을 사용하여 클러스터를 의미론적으로 재라벨링하고 정제하여, 해석 가능하고 재사용 가능한 원자적 움직임 세트를 얻었습니다. 이러한 원자적 움직임 주석을 기반으로, 인간의 안무 과정을 모방하는 2단계 생성 프레임워크를 설계했습니다. 원자적 움직임 계획 단계에서는 모델이 입력 음악에 조건화되어 원자적 움직임의 유형, 지속 시간 및 타이밍을 예측하여, 상징적인 댄스 할당(symbolic dance allocation)을 형성합니다. 완성 단계에서는 전이 인식 생성기(transition-aware generator)가 계획된 구조에 조건화되어 부드럽고 스타일적으로 일관된 동작을 합성합니다. 광범위한 실험은 본 방법이 기존 기준선 대비 구조적 일관성, 리듬 정렬, 지각적 자연성이 크게 향상된 댄스를 생성하며, 명시적인 구조 표현을 통해 향상된 해석 가능성과 제어 가능한 편집을 제공함을 입증합니다.