Seedance 2.0으로 15초 세로형 랩 영상을 안정화하는 방법: 프롬프트를 5개 블록으로 나누고 '하지 말 것' 작성하기

※ 본 기사에서 언급된 서비스는 필자가 개인적으로 개발 및 운영하고 있는 것입니다. 홍보가 목적이 아니며, 영상 생성 모델을 사용한 프로덕트 개발 과정에서 얻은 프롬프트 설계 지식을 공유하는 글입니다.

영상 생성 모델은 해마다 발전하고 있지만, '매번 안정적으로 사용할 수 있는 품질로 내기'는 아직 어렵다고 느낍니다. 동일한 프롬프트를 10회 생성했을 때도 입 모양이 맞지 않거나, 손동작이 무너지거나, 배경에 의미를 알 수 없는 문자가 나오거나, 없어야 할 사람이 비치는 등의 실패가 몇 번씩 섞여 나옵니다.

저는 AI Rap Generators라는 작은 웹 서비스를 만들었습니다. 이 서비스는 두 성인의 포트레이트 사진을 이용해 15초 분량의 세로형(9:16) 랩 영상을 제작합니다. 가사와 비트는 AI가 생성하며, 영상 생성을 위해서는 Seedance 2.0을 사용하고 있습니다.

이 기사에서는 안정성을 높이는 데 효과적이었던 다음 세 가지 포인트를 정리했습니다.

• 프롬프트를 5개의 블록으로 나누기
• 실패 패턴별로 '금지 사항(Constraints)'을 한 줄씩 추가하기
• 가사를 짧게 하여 15초에 맞추기

참고로, 기사 내의 프롬프트는 설계 개념을 보여주기 위한 간략 버전입니다.

조사한 범위에서 Seedance 2.0은 ByteDance의 멀티모달(multimodal) 음성 포함 영상 생성 모델이며, 다음과 같은 특징이 있습니다.

• 영상과 음성을 동시에 생성함 (랩처럼 목소리/비트/움직임이 하나로 통합된 콘텐츠와 궁합이 좋음)
• 참조 이미지(Reference Image)를 받을 수 있음 (사용자의 포트레이트를 인물 참조 자료로 전달 가능)
• 생성 가능한 길이는 최대 15초 정도

다만, 이용하는 API 제공원에 따라 파라미터나 제한이 다를 수 있습니다. 실제로 사용할 때는 각 제공원의 최신 문서를 확인해 주십시오.

처음에는 한 장면당 하나의 단락으로 프롬프트를 작성했습니다.

옥상에서 랩을 하는 사람. 야경이 아름답고, 조명이 빛나고 있다.
멋진 비트에 맞춰 카메라를 향해 손을 움직인다.

이렇게 하면 결과가 나쁠 때 '어느 문장이 원인인지' 알기 어렵습니다. 고치려고 했는데 다른 부분이 망가지는 경우도 있었습니다.

그래서 모든 장면의 프롬프트를 다음 5개 블록으로 나누었습니다.

[Scene] 인물의 동일성 + 환경 + 카메라 설정
[Music] 장르, 템포, 악기, 보컬 조건
[Timeline] 초 단위 움직임 대본
...

옥상 무대의 예시(간략 버전)입니다.

[Scene]
Use reference image 1 for the single rapper's identity, outfit, hair,
and proportions. On the rooftop terrace, keep the performer centered in
... 

블록별로 나누자 'Music만 바꿔 비교하기', 'Constraints에 한 줄 추가해서 효과 보기' 등 한 번에 한 곳만 수정하는 조정이 가능해졌습니다. 이것이 가장 큰 개선점이었습니다.

• '참조 이미지 1이 인물의 동일성・의상・헤어스타일・체격을 결정한다'고 명시하여 모델의 자유도를 줄입니다.
• 구도는 '고정 카메라・무릎 위(Knee-up)・세로 9:16'으로 확정합니다. 전신보다 무릎 위의 부분이 얼굴・손・입 움직임이 더 안정적이라고 느꼈습니다.
• 배경은 요소를 구체적으로 나열합니다 (야경, 스트링 라이트, 야자수, 라운지 가구, 반사되는 돌 바닥). 배경이 단순하고 요소가 명확할수록 프레임 간에 흔들림이 적어집니다.
• 'no other people enter'처럼, 멋대로 사람이 늘어나는 것을 미리 금지합니다.

'멋진 랩 비트'에서는 아무것도 지정하지 않은 것과 같습니다. 다음과 같이 구체화합니다.

• BPM을 고정합니다 (예: 110)
• 악기를 나열합니다 (킥, 스네어, 하이햇, 서브 베이스, 피아노, 패드)
• 보컬은 '단 하나만, 명확하게' 지정합니다 (코러스나 화음이 추가되면 입 움직임이 어려워집니다).

BPM이 정해지면 가사의 길이도 미리 설계할 수 있습니다.

15초를 3초 × 5 구역으로 나누고, 구역마다 주요 움직임을 하나만 작성합니다.

• 전체적으로 6줄, 7~10음절 정도(영어 가사 가정)로 구성합니다. 줄이 길수록 입 모양의 오차가 발생하기 쉽습니다. - 제목에 'perform exactly these'라고 작성하여 모델이 임의로 가사를 변경하지 않도록 합니다.
• 이름이나 기념일 같은 개인화 요소는 1~2줄에만 포함시킵니다.

이 블록에서 가장 많이 발전한 부분입니다. 자주 발생하는 실패 패턴과 이에 대응하는 제약 조건은 다음과 같습니다.

여기서 느낀 점은 프롬프트가 길다고 좋은 것은 아니다라는 것입니다. '일어났으면 하는 것'과 '절대 일어났으면 하지 않는 것'을 모두 짧고 구체적으로 작성하는 것이 더 효과적이었습니다.

한 번에 한 곳만 수정합니다. 블록으로 나누는 이유가 이것입니다. -
실패를 기록합니다. 어떤 장면에서 어떤 실패가 발생했는지 메모하여 제약 조건 추가로 연결합니다. -
장면별 성공률을 확인합니다. 전체 성공률만으로는 어느 장면의 프롬프트가 약한지 알 수 없습니다. -
실패 시 자동 환불됩니다. 생성에는 비용이 들고 실패도 0%일 수는 없기 때문에, 사용자가 손해를 보지 않도록 처음부터 시스템을 만들었습니다.

솔직히 말씀드리자면, 다음과 같은 제한 사항이 있습니다.

• 영상은 15초만 가능합니다.
• 본인의 곡 업로드는 미지원입니다.
• 출연자는 성인 2명으로 한정됩니다.
• AI 생성의 특성상 사진과의 유사도에 편차가 있습니다.

또한, 실존 인물의 얼굴을 다루기 때문에 출연자 본인 또는 동의한 성인만 이미지를 제출할 수 있으며, 미성년자와 공인의 이미지는 받지 않습니다. 영상에는 AI 생성 표시를 의무화하고, 업로드된 사진은 7일 후에 삭제하는 규칙을 두고 있습니다.

요금은 크레딧(credit)제이며, 영상 1개당 10크레딧이고, 크레딧 팩은 $6.99부터 시작합니다(구독 없음). 스테이지(장면)는 무료로 열람할 수 있습니다.

• 프롬프트를 Scene / Music / Timeline / Lyrics / Constraints의 5개 블록으로 나누면 조정하기가 쉬워집니다. -
  실패 패턴을 발견할 때마다, Constraints에 한 줄씩 추가합니다. -
  15초 안에 맞추기 위해 가사는 짧게(6줄・7~10음절) 합니다. -
  '긴 프롬프트'보다 '해야 할 것 + 하지 말아야 할 것'을 구체적으로 작성하는 것이 더 효과적입니다.

마찬가지로 영상 생성 모델을 사용해 개발하고 계신 분이 있다면, 어떤 실패 패턴에 대해 어떤 제약 조건을 추가했는지 꼭 알려주세요. 서비스는 airapgenerators.com이며, 스테이지 열람은 무료입니다. 사용해보시고 궁금한 점이 있다면 댓글로 알려주시면 감사하겠습니다.