Sound Sparks Motion: 비디오 편집을 위한 오디오 및 텍스트 튜닝

요약

Sound Sparks Motion은 대규모 생성 비디오 모델이 어려워하는 국소적 동작 및 상태 전이 편집을 위해 제안된 학습이 필요 없는(training-free) 프레임워크입니다. 모델 가중치를 수정하는 대신 오디오 잠재 변수와 텍스트 조건화 내의 잔차 섭동만을 튜닝하여 정교한 모션 편집을 가능하게 합니다. 시각-언어 모델을 활용한 피드백을 통해 텍스트와 모션 간의 시간적 정렬을 가이드하며, 학습된 제어 신호는 다른 비디오로의 전이도 가능합니다.

핵심 포인트

• 모델 가중치 수정 없이 오디오 잠재 변수와 텍스트 잔차 섭동만을 튜닝하는 경량화된 방식
• 시각-언어 모델(VLM)을 활용하여 텍스트와 모션 사이의 시간적 정렬을 가이드하는 의미론적 목적 함수 생성
• 학습된 잠재 제어 신호가 비디오 간에 전이 가능하여 재사용 가능한 모션 편집 방향을 포착함
• 테스트 시점 튜닝(test-time tuning)을 통해 모델 내부에 내장된 잠재적 모션 제어 능력을 활용