AI 비디오를 작업하며 제가 배운 한 가지는 좋은 프롬프트(Prompt)만으로는 충분하지 않다는 것입니다.

비디오가 인상적으로 보일 수는 있지만, 캐릭터가 변하거나, 카메라 움직임이 끊겨 느껴지거나, 오디오를 나중에 별도로 다시 제작해야 한다면 여전히 사용하기 어려울 수 있습니다.

그렇기 때문에 저는 점진적으로 프롬프트만 사용하는 워크플로우(Workflow)에서 벗어나고 있습니다.

대신, 생성하기 전에 시각적 참조(Visual references), 동작 방향(Motion direction), 그리고 오디오를 미리 준비합니다. 멀티모달(Multimodal) 입력을 지원하고 네이티브 오디오 생성이 가능한 MiniMax H3를 사용하면서, 저는 이러한 요소들을 별개의 제작 단계로 취급하기보다 이 요소들을 중심으로 워크플로우를 구축하고 싶었습니다.

MiniMax H3는 텍스트, 이미지, 비디오, 오디오와 함께 작동할 수 있는 멀티모달 AI 비디오 생성 모델입니다.

이 모델의 워크플로우는 다음과 같은 여러 생성 모드를 지원합니다:

• 텍스트-투-비디오 (Text-to-Video)
• 이미지-투-비디오 (Image-to-Video)
• 레퍼런스-투-비디오 (Reference-to-Video)
• 첫 프레임 및 마지막 프레임 생성 (First-and-last-frame generation)
• 비디오 편집 (Video editing)
• 모션 전이 (Motion transfer)
• 네이티브 스테레오 오디오 (Native stereo audio)

저에게 흥미로운 점은 단순히 더 많은 입력 옵션이 있다는 것이 아닙니다. 이러한 입력값들을 함께 사용하여 생성 과정에 더 명확한 창의적 방향성을 부여할 수 있다는 점입니다.

무엇인가를 생성하기 전에, 저는 어떤 일이 일어나야 하는지에 대한 간단한 설명을 작성합니다.

예를 들어:

한 여성이 조용한 커피숍으로 걸어 들어와,
창가 옆에 앉아,
거리에 비가 내리는 것을 밖을 내다본다.
...

저는 첫 번째 버전을 단순하게 유지하려고 노력합니다.

이 단계에서 저는 모든 카메라나 동작의 세부 사항을 추가하기보다는 스토리를 정의합니다.

다음으로, 일관되게 유지되어야 할 에셋(Assets)을 수집합니다.

프로젝트에 따라 다음과 같은 것들이 포함될 수 있습니다:

• 캐릭터 이미지
• 제품 사진
• 환경 참조 (Environment references)
• 스타일 참조 (Style references)
• 기존 비디오 클립
• 오디오

이는 생성된 비디오가 기존의 캐릭터, 사물 또는 시각적 방향을 따르기를 원할 때 특히 유용합니다.

장면이 명확해지면, 동작을 별도로 추가합니다.

예를 들어:

피사체를 향해 천천히 카메라 푸시 (Slow camera push).
자연스러운 걷기 동작.
미세한 핸드헬드 카메라 움직임.
...

메인 장면 설명에서 움직임을 분리하면 반복 작업 (Iteration)이 훨씬 쉬워집니다.

캐릭터와 환경이 이미 적절해 보인다면, 전체 컨셉을 다시 구축할 필요 없이 카메라 지시 사항만 변경할 수 있습니다.

참조 자료 (References)와 프롬프트 (Prompt)가 준비되면, MiniMax H3를 사용하여 첫 번째 버전을 생성합니다.

전반적인 이미지 품질을 즉시 판단하는 대신, 저는 몇 가지 구체적인 사항들을 살펴봅니다:

• 모델이 동작을 따랐는가?
• 피사체가 일관되게 유지되는가?
• 카메라 움직임이 자연스러운가?
• 장면이 시각적 방향성을 유지하는가?
• 오디오가 화면에서 일어나는 일과 일치하는가?

평가를 더 작은 질문들로 나누면 무엇을 개선해야 하는지 이해하기가 더 쉬워집니다.

저는 첫 번째 생성 이후에 모든 것을 다시 쓰는 경우는 드뭅니다.

대신, 하나의 변수만 변경합니다.

예를 들어:

버전 A (Version A)

천천히 시네마틱하게 푸시 인 (Slow cinematic push-in).

버전 B (Version B)

카메라가 왼쪽에서 오른쪽으로 천천히 트래킹 (Camera slowly tracks from left to right).

버전 C (Version C)

미세한 핸드헬드 움직임이 있는 정적인 미디엄 샷 (Static medium shot with subtle handheld movement).

캐릭터, 환경, 그리고 기본적인 동작은 동일하게 유지됩니다.

오직 카메라 방향만 변경됩니다.

이렇게 하면 결과물을 비교하기가 훨씬 쉬워집니다.

오디오는 예전에 AI 비디오 프로젝트의 거의 마지막 단계에서 생각하던 것이었습니다.

비디오와 스테레오 오디오 (Stereo audio)를 함께 생성할 수 있는 모델을 사용할 때는, 이들을 하나의 결과물로 평가하는 것이 더 합리적입니다.

저는 다음 사항들에 주의를 기울입니다:

• 대사 타이밍 (Dialogue timing)
• 주변 소음 (Ambient sounds)
• 사운드 원근법 (Sound perspective)
• 동작 동기화 (Action synchronization)
• 전반적인 분위기 (Overall atmosphere)

시각적으로 강력한 클립이라도 사운드가 장면을 뒷받침하지 못하면 여전히 불완전하게 느껴질 수 있습니다.

가장 뛰어난 생성물을 선택한 후, 저는 정교화 (Refinement) 단계로 넘어갑니다.

전체 컨셉을 다시 생성하는 대신, 구체적인 문제를 식별합니다:

• 잘못된 움직임
• 약한 카메라 프레이밍 (Camera framing)
• 원치 않는 객체
• 일관되지 않은 디테일
• 오디오 문제

이를 통해 반복 작업을 집중력 있게 유지하며, 하나의 작은 문제 때문에 좋은 장면을 놓치는 것을 방지합니다.

제품 이미지가 외형을 설정하는 동안, 프롬프트는 카메라 움직임과 연출을 제어할 수 있습니다.

캐릭터 및 환경 레퍼런스 (Reference)를 활용하면 매번 처음부터 시작하지 않고도 짧은 서사 장면을 구축하는 데 도움이 됩니다.

단일 컨셉을 다양한 편집을 위한 여러 카메라 또는 모션 변형으로 전환할 수 있습니다.

레퍼런스 자료는 대규모 제작에 착수하기 전에 시각적 방향성을 제공할 수 있습니다.

기존 이미지나 클립을 사용하여 전통적인 제작이 시작되기 전에 장면이 어떻게 움직일지 탐색할 수 있습니다.

이 워크플로우 (Workflow)의 주요 이점은 제어력 (Control)입니다.

AI 모델에게 하나의 거대한 프롬프트 (Prompt)로 피사체, 환경, 움직임, 카메라 방향 및 사운드를 모두 만들어내라고 요청하는 대신, 저는 프로젝트를 관리 가능한 부분들로 분리합니다.

저의 프로세스는 다음과 같습니다:

• 장면 정의
• 레퍼런스 준비
• 모션 (Motion) 설명
• 생성
• 제어된 변형들을 비교
• 오디오와 비디오를 함께 평가
• 특정 문제점 개선

이렇게 하면 실패 원인을 진단하기가 더 쉬워집니다.

결과물이 제대로 작동하지 않을 때, 프롬프트를 무작정 다시 쓰는 대신 문제가 레퍼런스, 장면 설명, 카메라 방향 또는 오디오 중 어디에서 오는지 대개 식별할 수 있습니다.

MiniMax H3에서 저를 가장 흥미롭게 만드는 부분은 단일 사양 (Specification)이 아닙니다.

그것은 비디오 제작 프로세스의 더 많은 부분을 하나의 멀티모달 (Multimodal) 워크플로우로 가져올 수 있는 가능성입니다.

텍스트는 아이디어를 설정합니다. 이미지는 시각적 정체성을 정의합니다. 비디오는 모션 레퍼런스를 제공할 수 있습니다. 오디오는 타이밍과 분위기를 형성하는 데 도움을 줍니다.

이러한 요소들이 함께 계획될 때, AI 비디오 생성은 반복적으로 프롬프트를 시도하는 느낌에서 벗어나 장면을 연출 (Directing)하는 느낌에 가까워지기 시작합니다.

저에게 있어, 그것이 AI 비디오 제작에 접근하는 훨씬 더 유용한 방식입니다.