생성형 비디오 (Generative video) 모델의 홍수 속에는 한 가지 눈에 띄는 누락 사항이 있습니다. 바로 소리입니다. 지금까지 우리가 본 대부분은 무성 영화였습니다. Google DeepMind의 새로운 비디오-투-오디오 (V2A, video-to-audio) 기술은 비디오 픽셀과 자연어 프롬프트 (Natural language prompts)로부터 풍부하고 동기화된 사운드스케이프 (Soundscapes)를 직접 생성함으로써, 문제의 나머지 절반을 해결하기 위한 첫 번째 진지한 발걸음을 내디뎠습니다.

이것은 단순히 스톡 효과음을 추가하는 것 그 이상입니다. V2A는 오디오가 시각적 동작, 톤, 그리고 캐릭터를 문맥적으로 인식하는 진정한 멀티모달 (Multimodal) 생성으로의 이동을 의미합니다.

V2A가 하는 일

V2A 기술의 핵심은 비디오 푸티지 (Footage)를 분석하고, 텍스트 프롬프트의 안내를 받아 그에 상응하는 사운드트랙을 생성하는 것입니다. 여기에는 효과음, 주변 소음, 그리고 비디오의 분위기와 속도에 맞는 음악 스코어 (Musical scores)까지 포함될 수 있습니다. 이 시스템은 Google의 자체 모델인 Veo와 같은 비디오 생성 모델과 결합하여, 단일 프롬프트 세트로부터 완전한 시청각 출력을 생성하도록 설계되었습니다.

결정적으로, 이는 AI가 생성한 클립에만 국한되지 않습니다. 이 기술은 아카이브 자료와 무성 영화를 포함한 기존 푸티지에도 적용될 수 있어 상당한 창의적 가능성을 열어줍니다. 시스템은 단일 비디오에 대해 잠재적으로 무제한의 오디오 트랙을 생성할 수 있어, 제작자들이 다양한 음향적 해석을 실험할 수 있도록 해줍니다.

작동 원리: 오디오를 위한 확산 모델 (Diffusion models)

Google 팀은 오디오와 비디오를 동기화하는 데 있어 가장 설득력 있고 현실적인 결과를 제공한다는 것을 발견한 후, V2A를 위해 확산 기반 모델 (Diffusion-based model)을 선택했습니다. 프로세스는 입력 비디오를 압축된 표현 (Compressed representation)으로 인코딩 (Encoding)하는 것으로 시작됩니다. 거기서부터 확산 모델은 압축된 비디오 데이터와 텍스트 프롬프트 모두의 안내를 받아 무작위 노이즈 (Random noise)로부터 오디오를 반복적으로 정제합니다.

이를 통해 모델은 시각적 요소와 의미론적으로 연결된 (semantically linked) 오디오를 생성할 수 있습니다. 품질과 구체성을 향상시키기 위해, 모델은 대화 스크립트(dialogue transcripts)와 더불어 소리를 상세하게 설명하는 AI 생성 주석 (AI-generated annotations)을 사용하여 학습되었습니다. 최종 출력물은 비디오와 직접 병합할 수 있는 오디오 파형 (audio waveform)입니다.

이 시스템을 위한 프롬프트는 단순한 설명에 그치지 않습니다. 모델이 원치 않는 소리를 내지 않도록 유도하는 부정 프롬프트 (negative prompts)를 포함하여, 생성을 가이드하는 계층적인 명령어가 될 수 있습니다.

{
  "video_input": "path/to/scene_042.mp4",
  "positive_prompt": "Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete",
...

이러한 수준의 제어력이 핵심입니다. 이는 단순한 폴리 작업 (foley work)을 넘어 사용자에 의해 디렉팅되는 진정한 사운드 디자인 (sound design)의 영역으로 나아갑니다.

빌더를 위한 시사점 (the builder implications)

엔지니어와 빌더들에게 V2A는 멀티모달 (multimodal) 시스템이 나아갈 방향을 보여주는 신호입니다. 즉각적인 응용 분야는 콘텐츠 제작으로, 동기화된 효과음과 스코어 (scores)를 생성함으로써 후반 작업 (post-production)을 간소화하는 것입니다. 하지만 그 근저에 있는 기술은 더 넓은 시사점을 가집니다.

플레이어의 행동과 세계의 시각적 상태에 따라 주변 오디오 (ambient audio)가 실시간으로 생성되는 게임 개발 환경을 상상해 보십시오. 또는 더 강력한 로보틱스 (robotics) 및 에이전트 시스템 (agentic systems)을 학습시키기 위한 합성 데이터 생성 (synthetic data generation)을 고려해 보십시오. 동작(유리잔이 떨어짐)과 그 소리 사이의 관계를 이해하는 모델은 더 완전한 세계 모델 (world model)을 구축할 수 있습니다.

하지만 인정된 한계점들도 존재합니다. 오디오 품질은 입력 비디오의 품질에 의존합니다. 소스 비디오의 시각적 아티팩트 (visual artifacts)와 왜곡은 최종 사운드에 부정적인 영향을 미칠 수 있습니다. 또한, 비디오 모델과 오디오 모델이 완벽하게 일치하지 않을 수 있기 때문에 대화에 대한 립싱크 (lip-syncing)는 여전히 큰 과제로 남아 있습니다.

요약 (the takeaway)

업계의 대부분은 생성형 미디어 (generative media)의 시각적 측면에 집중해 왔습니다. V2A는 오디오가 사후 고려 사항이 아니라는 점을 강력하게 상기시켜 줍니다. 개발자들에게 핵심적인 시사점은 아키텍처 패턴입니다. 즉, 시각적 임베딩 (visual embeddings)과 텍스트 프롬프트 (text prompts) 모두를 조건으로 하는 확산 모델 (diffusion models)을 사용하여, 별개이면서도 동기화된 모달리티 (modality)를 생성하는 방식입니다. 비디오 모델이 범용화됨에 따라, 완전한 멀티모달 (multimodal) 경험을 생성하는 능력이 진정한 차별화 요소가 될 것입니다.

출처 (sources)

• Google DeepMind: Generating audio for video