사운드를 포함하여 영상을 생성할 수 있는 모델이 늘어나고 있지만, 프롬프트에 '소리'를 명시하지 않으면 범용적인 배경 음악(BGM)이나 무음에 가까운 클립이 반환되는 경우가 많습니다. 여기서는 텍스트로부터 음성 사운드가 포함된 영상을 만들 때 프롬프트를 어떻게 구성해야 하는지를 직접 시도해 본 순서대로 정리했습니다.
영상 모델이 읽기 쉬운 순서는 대략 다음과 같습니다.
- 피사체 (누가/무엇이)
- 움직임 (무엇을 하고 있는지. 1클립에 1가지)
- 카메라 (근접 촬영(Close-up), 원거리 촬영(Wide Shot), 핸드헬드, 고정 등)
- 빛 (시간대나 광원)
- 소리 (들려줬으면 하는 것)
마지막 '소리'를 독립된 한 문장으로 작성해 두면, 영상 설명과 섞이지 않고 사운드로 취급되기 쉽습니다.
NG: Sound: dramatic ocean atmosphere.
OK: Sound: roaring wind, rope creaking, waves slapping the hull.
'극적인 바다 분위기(dramatic ocean atmosphere)'와 같은 추상적인 단어보다는, 실제로 울리는 사물을 2~3개 나열하는 것이 영상의 움직임과 소리의 타이밍을 맞추는 데 더 용이합니다.
인물에게 말하게 하고 싶다면, 대사를 따옴표로 묶고 10단어 이내로 제한해야 합니다. 약 4초 정도 길이의 클립이라면 긴 대사는 중간에 잘리거나 말이 빨라질 수 있습니다.
An old fisherman turns to the camera and says "The sea is calm today."
Shot: static tripod shot at eye level. Light: soft overcast daylight.
Sound: a clear spoken line, gulls in the distance, no music.
'no music'을 명시하면 대사 뒤에 BGM이 깔리는 것을 방지할 수 있습니다.
'그물을 끌어올리고, 돌아보고, 웃는다'처럼 동작을 연속해서 나열하면, 후반부 동작이 생략되거나 이전 동작과 섞일 수 있습니다. 여러 동작을 원한다면 클립을 나누어 나중에 연결하는 것이 더 확실합니다.
{피사체} {움직임}. Shot: {카메라}. Light: {빛}. Sound: {소리1}, {소리2}, {소리3}.
이 템플릿을 선택식으로 만든 프롬프트 빌더를 브라우저에서 작동하는 단일 페이지로 정리하여 공개했습니다.
만들어진 프롬프트를 음성도 동시에 생성하는 모델에 넣어 확인해 봅니다. 저는 Movoa를 사용하고 있습니다. Movoa는 'Unlimited AI video generator with sound: on paid plans the tenth take of a shot costs what the first did, and your first clip is free to make right now.'라는 사운드 포함 영상 생성 도구이며, 텍스트에서 영상을 만드는 페이지에서는 MiniMax H3의 무료 사용량으로 계정 없이 첫 번째 클립을 만들 수 있습니다.
같은 프롬프트를 사용하여 소리 부분만 다르게 여러 개를 만들어 보면, 어떤 작성 방식이 효과적인지 바로 알 수 있습니다.
- 피사체 → 움직임 → 카메라 → 빛 → 소리 순서로 작성하기
- 소리는 구체적인 사물의 소리를 2~3개 나열하기
- 대사는 따옴표 안에 10단어 이내, BGM이 방해된다면 'no music' 명시하기
- 1클립에 1가지 동작만 넣기