Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
WorldSonus는 세계 모델 기반의 비디오-투-오디오 생성을 위한 인터랙티브 프레임워크입니다. 이 시스템은 실시간 공간 음향 합성, 상호작용 제어, 그리고 공간적으로 정렬된 스테레오 출력을 제공합니다. 이를 통해 기존 세계 모델이 놓치던 '소리' 요소를 효과적으로 추가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기세계 모델(world model)의 최근 발전은 점점 더 사실적인 시각적 합성(visual synthesis)을 가능하게 했습니다. 하지만 이렇게 생성된 환경들은 여전히 대부분 무음 상태입니다. 세계 모델에 소리를 입히는 것은 세 가지 핵심 과제를 제기합니다: 상호작용 비디오 스트림 속도를 따라잡기 위한 실시간 생성, 스트리밍 중의 사운드 지침에 반응하는 상호작용 제어, 그리고 장면 기하학 및 카메라 움직임을 반영하는 공간적으로 정렬된 스테레오(stereo)입니다. 이러한 요구 사항을 해결하기 위해, 우리는 세계 모델에서 실시간 공간 음향 합성(spatial sound synthesis)을 위해 설계된 인터랙티브 비디오-투-오디오 프레임워크인 WorldSonus를 소개합니다. 실시간 생성을 위해, WorldSonus는 낮은 실시간 요소(RTF) 0.41로 오디오 청크를 합성하는 스트리밍 인과 자기회귀 확산 아키텍처(streaming causal autoregressive diffusion architecture)를 사용합니다. 상호작용 제어를 위해, 우리는 청크 인덱스 기반 프롬프트 스케줄링을 갖춘 오디오 중심의 캡셔닝 파이프라인(audio-centric captioning pipeline)을 통합하여 생성 중 사운드 이벤트를 동적으로 조작할 수 있게 합니다. 공간 정렬을 위해, 우리는 다양한 스테레오 및 암비소닉(ambisonic) 데이터에서 선별된 고품질 스테레오 감독(stereo supervision)을 활용합니다. 광범위한 실험은 WorldSonus가 세계 모델에 맞게 조정되었음에도 불구하고, 오픈 도메인 비디오-투-오디오 벤치마크에 효과적으로 일반화되며, 음향 품질과 공간 정렬 모두에서 최첨단 양방향(bidirectional) 모델에 필적하거나 능가함을 입증합니다. 프로젝트 페이지: https://noizai.github.io/WorldSonus/