원문은 openvideos.ai에서 처음 게시되었습니다.

이미 가지고 있는 입력값에서 시작하세요

유용한 프롬프트 공식은 무엇을 가져오느냐에 따라 달라집니다.

• 텍스트-투-비디오 (Text-to-video): 프롬프트가 피사체 (subject), 동작 (action), 장소 (place), 프레이밍 (framing), 카메라 (camera), 조명 (light), 타이밍 (timing) 등 전체 샷을 정의해야 합니다.
• 이미지-투-비디오 (Image-to-video): 이미지는 이미 피사체, 구도, 조명, 스타일을 담고 있습니다. 프롬프트는 주로 무엇이 움직이는지를 설명해야 합니다.

완성된 정지 영상 위에 긴 텍스트-투-비디오 설명을 반복하는 것은 흔한 실패 유형입니다. 모델은 동일한 장면에 대해 서로 충돌하는 여러 버전을 받게 됩니다.

공식 1: 7단계 샷 브리프로서의 텍스트-투-비디오

피사체 (Subject) + 동작 (Action) + 설정 (Setting) + 샷 (Shot) + 카메라 움직임 (Camera movement) + 조명/스타일 (Light/style) + 타이밍 (Timing)

모든 부분에 긴 문장이 필요하지는 않습니다. 중요한 결정 사항들을 제거할 수 있을 만큼의 충분한 정보만 있으면 됩니다.

짧은 클립은 하나의 장면에 집중하세요. 아이디어에 세 가지 플롯 비트 (plot beats)가 포함되어 있다면, 이를 별도의 샷으로 나누십시오.

완전한 예시

비가 내린 후 블루 아워 (blue hour)에 텅 빈 현수교를 따라 겨자색 우비를 입은 홀로 있는 자전거 타는 사람이 꾸준히 달린다. 도로 높이의 와이드 3/4 샷 (Wide road-level three-quarter shot)으로, 자전거 타는 사람이 왼쪽 3분의 1 지점에 있고 앞에는 탁 트인 도로가 있다. 카메라는 일정한 거리에서 평행하게 추적한다 (tracks parallel). 젖은 아스팔트가 멀리 있는 빨간색과 호박색 교통 신호를 반사한다; 차분한 흐린 분위기, 가벼운 안개, 절제된 현대적 영화 색감. 전체적으로 제어된 속도와 부드러운 트래킹이 포함된 하나의 연속된 샷.

프롬프트가 상세한 이유는 7가지 결정을 해결하기 때문이지, 단어가 많다고 해서 자동으로 더 나은 비디오가 만들어지기 때문이 아닙니다.

공식 2: 이미지-투-비디오는 움직임을 설명해야 합니다

카메라 움직임 (Camera motion) + 피사체 움직임 (Subject motion) + 환경 움직임 (Environmental motion) + 타이밍 (Timing)

소스 이미지를 시각적 토대로 취급하세요. 자전거 타는 사람의 정지 영상의 경우, 움직임 프롬프트는 짧게 유지될 수 있습니다:

카메라가 자전거 타는 사람 옆을 부드럽게 따라갑니다 (tracks). 자전거 타는 사람이 일정한 속도로 페달을 밟는 동안, 비옷이 바람에 가볍게 흔들립니다. 미세한 안개가 다리와 도로 위를 떠다니고, 도로의 반사광이 미묘하게 반짝입니다. 통제된 움직임 (Controlled motion), 하나의 연속된 샷 (one continuous shot).

얼굴, 재킷 색상, 다리 구조 또는 조명에 대한 두 번째 설명을 생략하세요. 이미지가 이미 해당 사실들을 제공하고 있습니다.

다시 쓰기 전에 진단하기

결과가 만족스럽지 않다면, 가장 먼저 실패한 최소 단위의 결정을 찾아내세요.

한 번에 하나의 구성 요소만 변경하세요. 다음 생성 결과가 실제 질문에 답할 수 있도록 나머지 요소는 안정적으로 유지해야 합니다.

크레딧을 고려한 루프 (A credit-aware loop)

1. 언어를 다듬기 전에 입력 모드를 선택합니다.
2. 단일 샷을 위한 최소한의 완전한 프롬프트 (prompt)를 작성합니다.
3. 선택한 모델의 실제 제어 기능 (controls)을 점검합니다.
4. 제출하기 전에 표시된 크레딧 (credits)을 확인합니다.
5. 정확한 프롬프트와 결과를 저장합니다.
6. 가장 큰 불일치 (mismatch) 요인을 명명합니다.
7. 하나의 구성 요소를 변경합니다.

출처 및 한계

이 프레임워크 (framework)는 Google, Runway, Luma의 비디오 프롬프트 문서에서 제공하는 자체 가이드를 종합한 것입니다. 이 프레임워크는 모델의 순위를 매기거나 모든 모델에서 동일한 결과가 나온다고 주장하지 않습니다.

체크리스트와 링크가 포함된 전체 가이드: How to Write AI Video Prompts.