Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 공간 오디오와 시간적 역학을 고려한 인간 동작 생성이라는 새로운 과제를 공식화하고, 이를 위한 두 가지 데이터셋(DySAM, DySAL)을 제시합니다. 제안된 MOMO 프레임워크는 움직이는 음원의 공간 단서를 직접 추정하여 동작 확산을 조건화하며, 기존 모델 대비 높은 충실도와 정렬 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인간이 소리에 반응하는 것은 단순히 그 의미론적 내용에만 의존하는 것이 아니라, 공간 오디오와 그 시간적 역학을 통해 전달되는 음원과 청취자 사이의 진화하는 공간적 관계에도 의존합니다. 이러한 동적인 공간 오디오에 대한 인간의 반응을 모델링하는 것은 캐릭터 애니메이션, 인간 행동 분석, 로보틱스에 중요합니다. 현재까지 기존의 오디오 기반 동작 생성 방법들은 주로 비공간적이거나 정적인 음향 조건에 초점을 맞추고 있어, 이 중요한 문제는 크게 탐구되지 않은 상태입니다. 이러한 격차를 해소하기 위해, 우리는 동적 공간 오디오 구동 인간 동작 생성이라는 새로운 과제를 공식화하고 두 가지 모션 캡처 데이터셋을 소개합니다. 우리는 최초의 데이터셋이자 이 과제의 벤치마크인 Dynamic Spatial Audio and Motion dataset (DySAM)을 소개하며, 이는 동기화된 바이노럴 오디오, 3D 인간 동작, 그리고 움직이는 음원 궤적을 제공합니다. 음원의 동적인 공간 단서가 중요하다는 점을 고려하여, 우리는 또한 공간 오디오 인식을 지원하기 위해 다양한 음향 이벤트와 머리 자세 및 움직이는 음원 궤적을 쌍으로 묶은 보조 바이노럴 위치 추정 데이터셋인 Dynamic Spatial Audio Localization dataset (DySAL)도 제공합니다. 벤치마킹을 위해, 우리는 세 가지 결합된 원칙(위치 추정, 이해, 생성)에 의해 안내되는 확산 기반 프레임워크인 MOMO for human Motion generation from Moving Sounds를 제안합니다. MOMO는 움직이는 음원의 머리 중심 공간 방향 단서(head-centric spatial direction cues)를 원시 바이노럴 오디오에서 직접 추정하여 위치 추정을 수행함으로써, 실제 음원 좌표에 의존하는 것을 피합니다. 이는 프레임별 오디오 콘텐츠 표현을 추출하여 이해를 수행하고, 의미론적 특징과 동적 공간 단서 모두에 동작 확산을 조건화하여 생성을 수행합니다. 실험 결과는 MOMO가 동작 충실도(motion fidelity), 오디오-동작 정렬(audio-motion alignment), 그리고 물리적 개연성(physical plausibility) 측면에서 기존의 기준 모델들을 능가함을 보여줍니다.