Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Sonic-AMG는 공간 오디오 입력으로부터 스트리밍 인간 동작을 생성하는 최초의 프레임워크입니다. 이 모델은 음향 콘텐츠와 신체 상대 소스 기하학을 별도의 토큰으로 인코딩하여, 연속적인 동작 잠재값을 생성합니다. 특히 리허설 훈련과 공간 피드백 메커니즘을 도입하여 실시간 스트리밍 환경에서의 일관성과 정확도를 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기공간 오디오에 대한 인간의 반응을 모델링하려면 무엇이 들리는지, 그리고 그것이 어디에서 오는지 모두 이해해야 합니다. 이전 연구들은 완전한 음향 및 공간 입력 시퀀스로부터 동작을 오프라인으로 생성했습니다. 하지만 인간은 다음에 어떤 소리가 들릴지 알지 못한 채 소리에 반응합니다. 우리는 공간 오디오로부터 스트리밍 인간 동작 생성을 위한 최초의 프레임워크인 Sonic-AMG를 제시합니다. 이 모델은 음향 콘텐츠와 신체 상대 소스 기하학을 별도의 토큰으로 인코딩합니다. 이러한 토큰들에 조건화되어, 흐름 헤드(flow head)를 가진 인과적 트랜스포머가 연속적인 동작 잠재값(motion latents)을 생성하며, 이로부터 인과적 디코더가 동작 세그먼트를 재구성합니다. 표준 교사 강제 학습(teacher-forced training)은 실제 동작의 정답(ground-truth motion)으로부터 동작 이력 및 신체 상대 소스 위치를 도출하는 반면, 스트리밍 추론은 이 두 가지 모두에 대해 생성된 동작에 의존하여 훈련-추론 불일치(training-inference mismatch)가 발생합니다. 이러한 이력 불일치를 줄이기 위해, 우리는 전체 시퀀스의 교사 강제 감독과 짧은 자기 회귀 자가 전개(autoregressive self-rollouts)를 따른 지도 예측을 결합하는 리허설 훈련(rehearsal training)을 도입합니다. 공간 조건화를 생성된 동작과 일관되게 유지하기 위해, 우리는 리허설 훈련과 추론 모두에서 생성된 루트 포즈로부터 신체 상대 소스 위치를 재계산하는 공간 피드백(spatial feedback)을 제안합니다. SAM에서 Sonic-AMG는 최고 수준의 FID 및 R-정밀도(R-precision)를 달성합니다. 또한, 사운드 이벤트와 소스 위치 전반에 걸쳐 일관된 반응의 실시간 온라인 생성을 지원합니다. 프로젝트 페이지: https://jingchengni.com/sonic-amg/.