MiniMax H3를 활용한 AI 랩 비디오 제작 방법: 사진, 프롬프트, 일관성 및 움직임

좋은 AI 랩 비디오는 간단해 보입니다. 한 사람, 하나의 비트, 그리고 자신감 넘치는 퍼포먼스가 담긴 16초면 충분합니다. 하지만 실제로 구현하는 것은 그리 쉽지 않습니다. 모델은 첫 프레임부터 마지막까지 같은 인물을 화면에 유지해야 하고, 마치 하나의 연속된 촬영처럼 보이도록 움직임을 만들어야 하며, 한 분 전에는 존재하지 않았던 가사에 맞춰 입 모양을 일치시켜야 합니다.

[IMG:N]

이 튜토리얼은 사진과 사운드를 같은 과정에서 생성하는 비디오 모델인 MiniMax H3 (Hailuo 3.0)를 사용하여 이를 구현하는 방법을 안내합니다. 다음 내용을 다룹니다:

What H3가 랩 비디오에 할 수 있는 것과 없는 것
업로드할 사진 준비 방법
프롬프트 구조화 방법
...

여기에 제시된 모든 내용은 H3를 API를 통해 호출하든, 이를 기반으로 구축된 도구를 통해 사용하든 적용됩니다. 예시는 래퍼 한 명을 가정하고 있지만, 동일한 규칙은 듀엣이나 그룹 촬영에도 확장될 수 있습니다.

1. H3가 제공하는 것 (그리고 대비해야 할 한계)

H3는 텍스트와 참조 자료를 받아 동기화된 오디오가 포함된 짧은 클립을 반환합니다. 랩 비디오에 적용되는 주요 사실들은 다음과 같습니다:

두 가지 결과가 따릅니다. 첫째, 비디오를 하나의 긴 컷(long take)으로 계획하기보다는 10~15초 간격의 여러 '비트(beats)'로 계획하세요. 둘째, 사운드와 이미지가 함께 생성되기 때문에, 음악에 대해 작성하는 모든 것이 신체에 영향을 미칠 수 있고, 신체에 대해 작성하는 모든 것이 음악에 영향을 미칠 수 있습니다. 이는 립싱크 섹션에서도 다시 확인할 수 있을 것입니다.

1. 사진 준비하기

사진은 결과물이 의도한 사람처럼 보이게 하는 가장 큰 요인입니다. H3는 눈에 보이는 것만 보존할 수 있습니다.

사용 권한이 있는 사진을 사용하세요

자신 또는 비디오에 출연하는 것에 동의한 사람들의 사진만 업로드하세요. 유명인, 공인 또는 동의하지 않은 사람의 사진은 사용하지 마십시오. 이것은 단순한 예절 문제가 아닙니다. AI 비디오를 호스팅하거나 처리하는 대부분의 플랫폼과 그 뒤에 있는 결제 제공업체들은 이로 인해 콘텐츠를 삭제하거나 계정을 폐쇄할 것입니다.

좋은 참조 사진이란 무엇인가

매우 작은 이미지(예: 잘린 아바타)는 모델이 작업할 자료가 거의 있게 합니다.
사진 한 장 또는 여러 장?

단일 출연자의 경우, 일반적으로 선명한 사진 한 장으로 충분합니다. 두 번째 사진을 추가해야 하는 경우는 다음과 같습니다:

the scene will show an angle your first photo does not (a side view for a profile shot, a full-body photo for wide framing), or
the outfit matters and the first photo is cropped too tight to show it.

같은 사람의 사진을 여러 장 업로드할 때는 프롬프트에 이를 명시하고, 만약 서로 모순되는 부분이 있다면 어느 이미지가 우선권을 갖는지 지정해야 합니다(예: “Image 1이 얼굴을 제어하고, Image 2가 의상을 제어합니다”). 그렇지 않으면 모델이 이들을 혼합(blend)할 수 있습니다.
엔터를 누르거나 클릭하여 전체 크기로 이미지 보기

레퍼런스 비디오 선택하기

래퍼가 특정 퍼포먼스—카메라를 향해 걸어오는 동작, 비트에 맞춰 손짓하는 동작, 후크에서 회전하는 동작 등—를 따르기를 원한다면, 짧은 레퍼런스 비디오가 말로 설명하는 것보다 훨씬 신뢰할 수 있습니다. 다음 조건을 갖춘 클립을 선택하세요:

has the same number of people you want in the result,
has a steady camera or a camera move you actually want,
has no hard cuts inside the part you use, and
...

H3에게 이 비디오에서 움직임과 카메라 구도만 가져오고 다른 것은 아무것도 사용하지 않도록 지시할 것입니다.

1. 프롬프트 구조화하기

H3는 각기 하나의 역할을 가진 레이블이 지정된 섹션으로 구성된 프롬프트에 가장 잘 반응합니다. 아래의 6개 필드 레이아웃은 랩 비디오를 위한 신뢰할 수 있는 기본값입니다:

만약 일반 산문(plain prose) 형식을 선호한다면, 다음 순서를 유지하세요: 레퍼런스 → 유지할 것 → 장면 → 타임라인 → 카메라 → 오디오 → 제약 조건.

프롬프트가 작동하게 만드는 규칙들 (Rules that make a prompt work)

1. 상단에 역할을 할당하세요. “Image 1을 ~로 사용하라(Use Image 1 as…)”와 “Video 1을 ~로 사용하라(Use Video 1 as…)”로 시작하는 것이 좋습니다. 명시적인 역할 지정은 단순히 언급된 파일보다 더 신뢰성 있게 따릅니다.

2. 유지 수준(retention levels)을 사용하고, 이를 신중하게 선택하세요. retention_analysis에서는 각 레퍼런스에 다음 태그를 붙여서 레이블링해야 합니다:

fully_preserved — 있는 그대로 유지합니다 (예: 배경 평면(background plate)).
partially_preserved — 나열된 측면만 유지합니다 (예: 참조 비디오의 움직임과 카메라만 유지하고, 그 안에 있는 인물은 제외).
attribute_transfer — 나열된 속성을 새로운 주제로 옮깁니다 (예: 사진에서 가져온 얼굴, 머리카락, 의상 등을 연기자에게 적용).
...

3. 만약 레퍼런스가 유지하고 싶은 부분과 버리고 싶은 부분이 섞여 있다면, 절대 fully_preserved로 표시해서는 안 됩니다. 안무(choreography)를 위해 사용된 참조 비디오의 경우, 원본 연기자의 외모가 전혀 전달되지 않는다는 문구를 추가하여 partially_preserved로 지정해야 합니다.

타임스탬프를 작성하세요. 구간(span)에는 [0–3초]를, 순간(moment)에는 [5.4초]를 사용하세요. 사운드 역시 특정 순간에 고정할 수 있습니다: [6.2초] 베이스가 떨어지고 그가 렌즈를 가리킵니다.

카메라에는 영화 언어를 사용하세요. “느린 돌리 인(slow dolly in)”, “고정된 미디엄 샷(locked-off medium shot)”, “핸드헬드 트랙 좌측 이동(handheld track left)”, “휩 팬(whip pan)” 등이 있습니다. 사람의 행동과는 별개로 카메라 자체를 설명하는 문장을 작성하세요.

제외 항목(exclusions)은 필요한 것만 문장으로 작성하세요. “추가 인물 없음, 화면 텍스트 없음, 로고 없음, 변형 효과 없음.” 제외 목록의 모든 단어는 금지 사항으로 읽히기 때문에, 자막을 언급하는 목록은 다른 줄에서 자막을 요청하더라도 자막을 억제합니다.

Medium 앱 다운로드

일관성을 유지하세요. 긴 프롬프트는 괜찮지만, 모순되는 프롬프트는 안 됩니다. “카메라를 참고 자료와 정확히 동일하게 유지”라고 했다가 나중에 “자유롭게 리프레임해도 좋다(feel free to reframe)”고 하면 모델에게 두 가지 작업을 부여하는 것이 되어 둘 다 제대로 수행하지 못합니다.

1. 캐릭터 일관성 유지 (Keeping the Character Consistent)

아이덴티티 드리프트(Identity drift)—얼굴이 서서히 변하거나, 재킷 색상이 달라지거나, 문신이 나타났다 사라지는 현상—는 AI 랩 비디오가 무너지는 가장 흔한 방식입니다. 다음 세 가지 습관을 통해 대부분의 문제를 예방할 수 있습니다.

특징을 명시하고 “일관성”만 요청하지 마세요

“캐릭터를 일관되게 유지해라(Keep the character consistent)”는 모델에게 확인할 기준을 제공하지 않습니다. 반드시 지켜야 할 것을 목록으로 작성하세요:

Subject 1 keeps Image 1’s face shape, eye shape, nose, skin tone, facial hair, short twisted hairstyle, gold hoop in the left ear, black oversized hoodie with white drawstrings, and slim build for the entire clip.

구체적인 명사(nouns)는 모델에게 닻(anchor)을 제공합니다. 일반적인 형용사(“멋진 의상”, “스타일리시한 머리”)는 모델이 상상력을 발휘할 여지를 줍니다.

각 인물에게 하나의 이름만 부여하고 절대 바꾸지 마세요

만약 한 섹션에서는 래퍼를 “Subject 1”, 다른 섹션에서는 “남자(the man)”, 또 다른 섹션에서는 “공연자(the performer)”라고 부른다면, 모델은 이들을 세 명의 사람으로 인식할 수 있습니다. subject_definitions에서 이름을 한 번 정의하고 정확하게 재사용하세요.

뒷모습을 하고 있는 사람을 포함하여 프레임 속 모든 인물을 고려하세요

참조 비디오에 두 사람이 있고 그중 한 명이 카메라를 등지고 있다면, 등을 돌린 사람 역시 캐릭터 슬롯(character slot)이며 새로운 머리카락, 뒷머리, 어깨, 의상이 필요하다는 점을 명시적으로 언급해야 합니다. 그렇지 않으면 모델은 보이는 얼굴만 바꾸려는 경향이 있어, 결과적으로 새롭게 바뀐 한 사람과 참조 비디오의 남은 부분이 따로 노는 상황이 발생합니다.

얼굴에 초점 맞추기 (Frame for the face)
화면에서 얼굴이 작을수록 모델이 정보를 유지하기 어렵습니다. 미디엄 샷(medium shot)과 클로즈업(closer)이 아이덴티티를 가장 잘 유지해 줍니다. 와이드 샷(wide shot)을 원한다면 짧게 가져가고, 가사 중심의 부분에서는 다시 미디엄 샷으로 전환하는 것이 좋습니다.

여러 클립에 걸쳐 일관성 유지하기 (Across several clips)
비디오를 여러 세대(generation)로 제작할 경우:

• 모든 클립에서 동일한 사진과, 단어 하나 틀리지 않은 동일한 아이덴티티 문단(identity paragraph)을 재사용합니다.
• 변화가 핵심 포인트가 아니라면 의상 및 조명 설명을 동일하게 유지합니다.
• 한 클립의 최종 상태를 다음 클립의 시작 부분으로 이어갑니다 (다음 섹션 참조).

1. 움직임 경로(Motion Path) 연속성 유지하기
클립이 하나의 촬영처럼 느껴지려면 모든 움직임에 명확한 시작점, 경로, 그리고 끝점이 있어야 하며, 한 비트의 끝이 다음 비트의 시작이 되어야 합니다. 대부분의 '글리치(glitchy)' 같은 움직임 — 사지가 제자리에 뚝 떨어지는 것, 갑작스러운 위치 점프 등 — 은 움직임을 설명하기보다 포즈를 설명하는 프롬프트에서 발생합니다.

궤적을 설명하고, 최종 포즈는 피하세요 (Describe trajectories, not end poses)
약한 예시:

그가 손을 든다.

강한 예시:

[3–5초] 양손을 가슴에 두고 시작하여, 오른손을 천천히 어깨 높이까지 들어 올리고, 손바닥을 바깥으로 향하게 한 채 노래 끝까지 그 자세를 유지한다.

시작 상태 → 움직임 → 최종 상태. 모델은 두 개의 잘 정의된 위치 사이의 프레임을 상상하는 것보다 훨씬 더 잘 채워 넣습니다.

비트를 연결하기 (Chain the beats)
각 비트가 이전 비트가 끝난 곳에서 시작하도록 작성하세요:

[0–4s] 주체 1이 문간에서 카메라를 향해 걸어와 중앙 표시 지점에서 멈추고, 체중을 왼쪽 발에 둡니다. [4–9s] 중앙 표시 지점에서 여전히 렌즈를 바라보며, 그는 벌스(verse)를 시작하고 어깨는 이완하며 스네어(snare)에 맞춰 작은 고개를 끄덕입니다. [9–12s] 후크(hook) 부분에서는 오른쪽으로 반 걸음 이동하며 오른팔을 들어 올린 다음, [12s]까지 다시 옆으로 내립니다.

비트가 시작되는 지점은 이전 비트가 끝난 곳과 일치해야 합니다.

카메라 움직임과 신체 움직임을 분리하세요.

만약 카메라와 몸이 같은 문장에 묘사된다면, 모델은 의도한 것과 다른 것을 움직일 수 있습니다. 카메라에 별도의 줄을 할당하세요:

Camera: locked-off medium shot at chest height for the whole clip; a slow dolly in begins at [9s] and ends at [12s].

참조 비디오가 어려운 부분을 담당하게 하세요.

실제 안무(choreography)와 관련된 것이라면, 참조 비디오가 어떤 설명보다도 중요합니다. 이를 partially_preserved로 표시하고, 유지해야 할 것(