AI 비디오 도구들은 빠르게 변화합니다. 한 모델에서 잘 작동하는 프롬프트가 다른 모델에서는 다르게 동작할 수 있으며, 모델별 특정 구문(syntax)은 업데이트 이후 쓸모없게 될 수 있습니다. 더 지속 가능한 접근 방식은 창의적 의도(creative intent)를 먼저 표현한 다음, 그 표현을 선택한 생성기(generator)의 어휘로 변환하는 것입니다.

이 글은 참조 기반(reference-based) 비디오 워크플로우를 위한 모델 불가지론적 (model-agnostic) 프롬프트 아키텍처를 설명합니다.

중간 표현 (Intermediate Representation)으로 시작하기

긴 자연어 문단을 모델에 직접 보내는 대신, 샷(shot)을 구조화된 필드로 저장하세요:

{
  "duration": 5,
  "aspect_ratio": "9:16",
...

이것은 아직 프롬프트가 아닙니다. 이것은 중간 표현 (intermediate representation)입니다. 즉, 샷이 반드시 달성해야 하는 것에 대한 안정적인 기술입니다.

이 방식의 장점은 실용적입니다:

• 누락된 정보가 눈에 보입니다
• 필드를 독립적으로 검증할 수 있습니다
• 하나의 샷을 여러 모델에 대해 렌더링할 수 있습니다
• 수정을 단일 레이어에 집중할 수 있습니다
• 지속 시간(duration) 및 종횡비(aspect-ratio) 제약 조건이 명시적으로 유지됩니다

불변 요소(Invariants)와 선호 사항(Preferences) 분리하기

모든 세부 사항이 동일한 중요도를 갖는 것은 아닙니다. 표현을 두 그룹으로 나누십시오.

**불변 요소 (Invariants)**는 모든 모델 변환 과정에서 유지되어야 하는 요구 사항입니다. 예로는 피사체(subject), 동작 순서(action order), 카메라 방향(camera direction), 지속 시간(duration), 그리고 최종 상태(final state) 등이 있습니다.

**선호 사항 (Preferences)**는 바람직하지만 협상 가능한 세부 사항입니다. 미세한 필름 그레인(film grain), 특정 색감(color mood), 얕은 피사체 심도(shallow depth of field), 또는 사소한 배경 소품(background prop) 등이 해당됩니다.

생성이 실패할 경우, 불변 요소를 먼저 보존하십시오. 피사체가 반대 방향으로 움직이거나 요구된 동작을 완료하지 못한다면, 시각적으로 아름다운 결과물이라 할지라도 여전히 잘못된 것입니다.

P0: 동작 순서, 카메라 방향, 최종 상태
P1: 프레이밍, 환경, 조명
P2: 질감, 보조 소품, 스타일적 강조

2단계 렌더러 사용하기

모델 어댑터(model adapter)는 중간 표현을 두 단계로 변환할 수 있습니다.

1단계: 시각적 상태 구축

첫 번째 단계는 첫 프레임(opening frame)을 기술합니다: 피사체(subject), 의상(wardrobe), 환경(environment), 프레이밍(framing), 렌즈 큐(lens cues), 조명(lighting), 그리고 공간적 관계(spatial relationships)를 포함합니다. 이 섹션만으로도 첫 프레임을 스케치할 수 있어야 합니다.

2단계: 시간적 변화 구축 (build the temporal change)

두 번째 단계는 움직임(motion)을 기술합니다: 피사체가 무엇을 하는지, 카메라가 어떻게 움직이는지, 이벤트가 언제 발생하는지, 그리고 최종 프레임에 무엇이 포함되어야 하는지를 다룹니다.

이러한 단계들을 분리해 두면 디버깅(debugging)이 쉬워집니다. 만약 첫 프레임이 잘못되었다면 시각적 상태(visual state)를 수정하십시오. 만약 동작이 멈추거나 카메라가 흐른다면(drifts) 시간적 지침(temporal instructions)을 수정하십시오.

복사하지 말고 번역할 것 (Translate, do not copy)

각 모델 어댑터(model adapter)는 동일한 필드들을 해당 모델이 선호하는 스타일로 매핑해야 합니다. 어떤 생성기(generator)는 간결한 영화적 산문(cinematic prose)에 잘 반응할 수 있습니다. 또 다른 모델은 명시적인 타이밍 비트(timing beats)가 필요할 수 있습니다. 세 번째 모델은 부정적 제약 조건(negative constraints)으로부터 이득을 얻을 수도 있습니다.

어댑터는 중요도에 따라 필드의 순서를 정하고, 지속 시간(durations)을 지원되는 값으로 변환하며, 카메라 어휘(camera vocabulary)를 번역하고, 지원되지 않는 제어 항목을 생략하며, 대상 모델이 이해할 수 있는 제약 조건만을 추가하는 책임을 집니다.

소스 표현(source representation)은 변경되지 않은 상태로 유지됩니다. 이는 모델의 특이점(quirks)이 분석 계층(analysis layer)으로 유출되는 것을 방지합니다.

생성 전 검증 (Validate before generation)

가벼운 검증기(validator)가 비용이 많이 드는 많은 오류를 잡아낼 수 있습니다:

- 지속 시간(duration)이 대상 모델에서 지원되는가
- 종횡비(aspect ratio)가 유효한가
- 피사체(subject)와 동작(action)이 존재하는가
...

참조 비디오(reference-video) 워크플로우의 경우, 검증 시 모든 필드를 소스와 비교해야 합니다. 설명을 더 풍부하게 만들기 위해 의상, 대화, 또는 카메라 움직임을 임의로 만들어내지 마십시오.

구조적 충실도 측정 (Measure structural fidelity)

픽셀 유사도(Pixel similarity)는 생성 비디오(generative video)를 측정하기에 부적절한 지표입니다. 대신 구조(structure)를 평가하십시오:

• 샷 유형(shot type)이 보존되었는가?
• 동작이 올바른 순서로 발생했는가?
• 카메라가 의도한 방향으로 움직였는가?
• 최종 상태(final state)에 도달했는가?
• 피사체의 정체성(subject identity)과 의상(wardrobe)이 일관되게 유지되었는가?
• 페이싱(pacing)이 참조와 유사했는가?

이러한 점검 사항들은 유용한 수정 신호(revision signals)를 생성합니다. 만약 카메라 방향(camera direction)이 잘못되었다면, 카메라 레이어(camera layer)를 변경하십시오. 동작(action)이 불완전하다면, 동작을 단순화하거나 더 많은 시간을 할당하십시오. 정체성(identity)이 어긋난다면, 시각적 상태 제약 조건(visual-state constraints)을 강화하십시오.

워크플로우의 감사 가능성(auditable) 유지

중간 표현(intermediate representation), 렌더링된 프롬프트(rendered prompt), 대상 모델(target model), 생성 설정(generation settings), 그리고 수정 노트(revision notes)를 함께 저장하십시오. 이는 감사 추적(audit trail)을 생성하며 성공적인 프롬프트를 재사용 가능하게 만듭니다.

소스 세그먼트(source segment) -> 구조화된 샷(structured shot) -> 모델 어댑터(model adapter) -> 렌더링된 프롬프트(rendered prompt)
-> 생성 결과(generation result) -> 평가(evaluation) -> 수정(revision)

우리는 promptvv에서 분석과 모델별 렌더링 사이의 이러한 분리를 사용하며, 여기서는 참조 비디오가 프롬프트가 적응 및 정제되기 전에 샷 수준의 작업(shot-level tasks)으로 분해될 수 있습니다.

핵심 아이디어는 간단합니다. 프롬프트를 원천 데이터(source of truth)가 아닌, 컴파일된 출력물(compiled output)로 취급하는 것입니다. 안정적인 중간 표현(intermediate representation)은 모델이 변경될 때 AI 비디오 워크플로우를 더 쉽게 테스트, 디버그 및 마이그레이션할 수 있게 해줍니다.