Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Vidu Q4는 기존의 비디오 생성 파이프라인에서 발생하는 립싱크 문제를 해결하며, 오디오를 단순한 후처리 트랙이 아닌 장면 자체의 핵심 요소로 통합합니다. 이 모델은 음성 파형과 얼굴 움직임을 동일한 확산 과정(generation pass)에서 매핑하여, 더욱 자연스럽고 생동감 있는 '말하는 사람' 영상을 구현할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기말하는 사람(talking heads) 영상은 대부분의 AI 비디오가 여전히 인형처럼 보이게 만드는 부분입니다. 입술 움직임이 느리고, 목소리는 다른 사람의 것 같으며, 몸통은 가만히 있는 동안 턱만 계속 움직이는 식입니다. Vidu Q4는 사운드를 나중에 붙이는 트랙이 아니라 장면 자체의 일부로 취급합니다.
일반적인 파이프라인은 무음 클립을 내보낸 다음, 별도의 음성 모델을 실행하고, 마지막으로 립싱크 플러그인으로 턱 부분을 늘립니다. 이는 느릴 뿐만 아니라, 패치가 이미 완성된 얼굴 위에 놓이기 때문에 피부가 번져 보입니다. Vidu Q4는 오디오 파형과 얼굴 움직임을 동일한 생성 과정(generation pass)에서 매핑합니다. 짧은 음성 샘플만으로도 그 목소리로 대사를 말할 수 있게 하며, 입술, 치아, 숨결이 같은 비트에 맞춰 나타납니다.
외부 립싱크 도구는 이미 존재하는 프레임의 입술만 다시 그릴 뿐입니다. 머리를 기울이거나, 눈을 깜빡이거나, 숨결에 따라 가슴을 움직이는 동작은 처리하지 못합니다. Vidu Q4는 오디오를 전체 확산(diffusion)의 지침으로 사용하기 때문에, 강한 자음 발음에는 작은 몸의 기울임과 좁아진 눈빛까지 동반될 수 있습니다. 그 움직임이 턱에 슬라이딩되는 마스크가 아니라, 사람이 실제로 말하는 방식에 따릅니다.
필요한 작업은 세 가지 입력입니다: 캐릭터의 정지 이미지(character still), 최대 세 개의 음성 샘플, 그리고 톤이 표시된 대사입니다. 한 경로는 음색과 속도를 유지합니다. 다른 경로는 치아, 입술, 목구멍, 그리고 눈 주변의 작은 움직임을 모양화합니다. 이들은 무음 비디오에 더빙을 하는 방식이 아니라, 소리가 있는 하나의 그림으로 합쳐집니다.
| 비디오 → TTS → 플러그인 | Vidu Q4 네이티브 음성 | |
|---|---|---|
| 입과 치아 | 평평한 입술, 번지는 듯한 턱 움직임 | 치아와 입술이 하나의 모양처럼 움직임 |
| ... |
노이즈가 있는 샘플은 방의 소리(room tone)를 라인에 새어 나오게 합니다. 건조하게 녹음하세요. 두 캐릭터가 말할 경우, 각각 별도의 샘플을 제공하고 같은 클립을 재사용하지 마세요. 스크립트에 감정을 표시하세요. 모델은 단순한 대화 단락보다 쓰여진 강세(stress)를 더 신뢰성 있게 따릅니다.
이는 짧은 드라마 팀, 발표자를 포함하는 상업 광고, 그리고 포스트 프로덕션에서 입술을 수정해 온 모든 사람에게 적합합니다. 깨끗한 10초 샘플 하나와 스틸 이미지 하나로 시작하여, 더 긴 장면을 만들기 전에 한 문장씩 확인하세요.