waoowaoo AI 비디오 파이프라인 (Video Pipeline): 텍스트에서 음성이 포함된 비디오까지 | Agent Lab Journal

  AL
  Agent Lab Journal

...

LAB TEST · LOCAL VIDEO

waoowaoo AI 비디오 파이프라인 (Video Pipeline): 텍스트에서 음성이 포함된 비디오까지

      난이도: 중급 (Intermediate)
      읽기 및 실습 시간: 90분
      결과물: 테스트 비디오, 스토리보드 (storyboard), 캐릭터 (characters), 장면 (scenes), 음성 트랙 (voice tracks), 그리고 한계점 보고서 (limitations report)

단 하나의 매력적인 프레임만으로는 AI 비디오 파이프라인 (video pipeline)이 작동한다는 것을 증명할 수 없습니다. 진짜 테스트는 한 캐릭터가 여러 장면에서 식별 가능한 상태로 유지되는지, 동작이 일관된 시퀀스 (sequence)를 형성하는지, 음성이 편집에 맞는지, 그리고 실패한 장면을 프로젝트 전체를 다시 생성하지 않고도 교체할 수 있는지 여부입니다.

이 가이드는 측정되지 않은 waoowaoo 설치본에 대해 결과를 주장하기보다는 반복 가능한 테스트 프로토콜 (test protocol)을 제공합니다. 여러분은 통제된 스크립트 (script)를 준비하고, 두 명의 캐릭터를 정의하며, 6개의 장면을 만들고, 스토리보드 (storyboard)를 제작하며, 짧은 클립을 생성하고, 텍스트 음성 변환 (text-to-speech)을 추가하고, 최종 파일을 내보내며, 실제로 재현된 한계점만을 기록하게 될 것입니다.

이 테스트가 입증해야 하는 것

실질적인 질문은 로컬 (local) waoowaoo 설치본이 하나의 작은 프로젝트를 전체 제작 경로를 통해 완수할 수 있는지 여부입니다:

• 짧은 서사 스크립트 (narrative script) 수용
• 캐릭터, 장소, 소품 (props), 동작 식별
• 서사를 순서가 있는 장면 목록 (scene list)으로 분할
• 모든 장면에 대해 사용 가능한 참조 프레임 (reference frames) 제작
• 승인된 프레임 또는 설명을 짧은 비디오 클립으로 변환
• 두 개의 대사 생성 및 배치
• 비디오와 오디오 스트림 (audio streams)이 모두 포함된 재생 가능한 비디오 조립
• 다른 승인된 에셋 (assets)을 버리지 않고 실패한 장면 하나를 교체

이것은 기능적 파이프라인 (pipeline) 테스트이지, 최대 시각적 디테일을 겨루는 경쟁이 아닙니다. 해상도 (resolution)보다는 인과관계, 식별 가능한 캐릭터, 안정적인 소품, 이해 가능한 움직임, 그리고 생성 실패 후의 복구 가능성이 더 중요합니다.

무엇인가를 생성하기 전에 수락 기준 (acceptance criteria)을 정의하십시오

단순히 MP4 파일을 생성했다고 해서 실험이 성공했다고 결정하지 마십시오. 먼저 조건을 기록한 다음, 그 조건에 따라 출력을 판단하십시오.

          영역 (Area)
          최소 조건 (Minimum condition)
          기록할 증거 (Evidence to record)
...

이 실험(lab)에서는 이야기의 의미를 변화시키는 연속성 오류(continuity error)가 발생하지 않는 한, 6개 기준 중 5개를 최소 통과 기준(minimum passing threshold)으로 간주하십시오. 이는 이 연습을 위한 테스트 규칙이며, 비디오 품질에 대한 보편적인 척도는 아닙니다.

구체적인 사례: “마지막 배달 (The Last Delivery)”

약 35~45초 길이의 이야기를 사용하십시오. 이 이야기에는 두 명의 캐릭터, 두 개의 장소, 하나의 지속되는 오브젝트(persistent object), 하나의 간단한 반전(reveal), 그리고 두 개의 짧은 대사가 포함되어 있습니다. 이는 진단이 불가능할 정도로 복잡하지 않으면서도 연속성 실패를 드러내기에 충분한 복잡성을 가지고 있습니다.

해질녘, 레나(Lena)라는 이름의 엔지니어가 자신의 작은 작업장을 닫습니다. 밖에서 그녀는 움푹 들어간 판지 상자를 들고 있는 배달 로봇을 발견합니다. 로봇은 수취인의 주소가 데이터베이스에서 사라졌다고 말합니다. 레나는 상자에 새겨진 오래된 작업장 문장을 알아보고, 문을 열어 로봇을 안으로 초대합니다. 작업대 위에서 상자가 열리고 미니어처 위성이 불을 밝힙니다. 레나는 미소 지으며 말합니다. “결국 길을 찾아냈구나.”

이러한 제약 사항은 의도적인 것입니다. 군중, 자동차 추격전, 복잡한 물리 법칙, 여러 번의 의상 교체 또는 긴 대화를 추가하지 마십시오. 추가되는 모든 엔티티(entity)는 또 다른 잠재적 실패 원인을 생성합니다.

캐릭터 시트 (Character sheets)

이 설명들을 장면 전반에 걸쳐 고정하십시오. 만약 플랫폼이 캐릭터 참조(character references)를 지원한다면, 스토리보드를 제작하기 전에 캐릭터당 하나의 중립적인 참조 이미지를 생성하고 승인하십시오.

레나 (LENA)
나이: 약 30세
외모: 짧은 어두운 색 머리, 둥근 안경
...

세계관 규칙 (World rules)

• 모든 일은 동일한 비 오는 저녁 동안 발생합니다.

• 거리는 차가운 외부 조명을 사용하고, 작업실은 따뜻한 데스크 램프 조명을 사용합니다.

• 상자는 열리기 전까지 찌그러진 상태를 유지합니다.

• 로봇은 레나 (Lena)가 상자를 작업대 위에 올려놓을 때까지 상자를 들고 있습니다.

• 레나의 배지, 재킷 색상, 머리카락, 안경은 변하지 않고 유지됩니다.

• 로봇의 머리 모양, 상태 표시등, 주황색 삽입물은 변하지 않고 유지됩니다.

• 위성은 상자가 열린 후에만 나타납니다.

1. 독립적인 작업 공간 준비 (Prepare an independent workspace)

소스 자료, 생성된 프레임 (frames), 클립 (clips), 오디오 (audio), 그리고 내보내기 (exports) 결과물을 분리하여 보관하세요. waoowaoo가 프로젝트를 내부적으로 저장하더라도, 독립적인 디렉토리를 사용하면 버전을 비교하기 용이하며 애플리케이션 상태가 손실될 경우 증거를 보존할 수 있습니다.

waoowaoo-test/
├── input/
│   ├── script.txt
...

Linux 또는 macOS의 경우:

mkdir -p waoowaoo-test/{input,storyboard,frames,clips,audio,export}
cd waoowaoo-test
touch input/script.txt input/characters.txt input/style.txt run-log.md

Windows PowerShell의 경우:

$folders = "input","storyboard","frames","clips","audio","export"
New-Item -ItemType Directory -Path "waoowaoo-test" -Force
$folders | ForEach-Object {
...

이 명령어들은 테스트 구조만 생성합니다. waoowaoo를 설치하지 않으며, 설치 방법에 대해서는 어떠한 가정도 하지 않습니다.

2. 환경 고정 및 기록 (Freeze and document the environment)

설치 방법, 소스 리비전 (revision) 또는 이미지 버전, 운영 체제 (OS), GPU, 비디오 메모리 (video memory), 선택된 모델 (models), 그리고 사용 가능한 디스크 공간을 기록하세요. 만약 Docker를 사용하여 설치했다면 다음을 저장하세요:

docker compose ps
docker compose images
docker version

로컬 Git 체크아웃 (checkout)을 사용 중이라면 다음도 함께 저장하세요:

git rev-parse HEAD
git status --short

실험 중간에 애플리케이션, 드라이버, 모델 파일 또는 생성 파라미터 (generation parameters)를 업데이트하지 마세요. 변경이 필요한 경우, 현재 실행 (run)을 종료하고 새로운 실행 식별자 (run identifier)를 생성하세요.

run_id: run-001
date: YYYY-MM-DD
waoowaoo_version: fill_in
...

이 매니페스트(manifest)는 실험실 기록이며, waoowaoo의 공식 임포트(import) 형식이 아닙니다. 설치된 버전에 실제로 존재하는 컨트롤(controls)에 값을 복사하여 사용하세요. 특정 필드를 사용할 수 없는 경우, 추측하지 말고 not_exposed라고 작성하십시오.

3. 참조 장면 분할 (reference scene breakdown) 생성

플랫폼에 해석을 요청하기 전에 이야기를 수동으로 분할하십시오. 수동으로 작성된 버전은 자동 스크립트 분해(automatic script decomposition)를 검증할 수 있는 참조 기준이 됩니다.

          ID
          Duration
          Shot
...

장면 지속 시간(scene durations)의 총합은 38초입니다. 전환(transitions)과 일시 정지(pauses)로 인해 최종 지속 시간이 변할 수 있으므로, 이번 테스트에서는 35~45초 범위를 수용하십시오.

4. 일관된 장면 지침 (scene instructions) 구축

각 프롬프트(prompt)를 네 가지 블록, 즉 지속적인 스타일(persistent style), 변경되지 않은 캐릭터 시트(unchanged character sheet), 현재 장면 상태(current scene state), 그리고 하나의 구체적인 카메라 또는 피사체 움직임으로 구성하십시오. 모든 장면에서 영구적인 사실을 매번 다르게 의역하지 마십시오.

PERSISTENT STYLE
Cinematic near-future science fiction.
Realistic materials, restrained colors, calm pacing.
...

설치된 버전에서 네거티브 프롬프트(negative prompt)를 제공한다면, 관찰 가능한 결함에 대한 짧은 목록으로 시작하십시오:

extra characters, extra arms, duplicated box, changed clothing,
text in frame, logo, violent camera shake, distorted face,
sudden lighting change

추상적인 금지 사항을 길게 나열하는 것은 피하십시오. 이는 실패 원인을 진단하기 어렵게 만들고 긍정적인 묘사와 모순될 수 있습니다.

5. 비디오 생성 전 스토리보드 승인

각 장면에 대해 하나의 키 프레임(key frame)을 생성하십시오. 구도(composition)나 연속성(continuity)이 이미 잘못된 프레임에 애니메이션 작업을 하며 시간을 낭비하지 마십시오.

• 후보들을 S01_v01.png부터 S06_v01.png까지 저장합니다.
• 6개의 프레임을 모두 이야기 순서대로 배치합니다.
• 의상, 얼굴, 로봇의 기하학적 구조(geometry), 상자 소유권, 조명, 시선 방향을 확인합니다.
• 거절된 프레임은 "이상해 보임"과 같은 표현 대신 "상자가 두 개임"과 같이 관찰 가능한 사실로 설명하십시오.
• 거절된 프레임만 다시 생성합니다.

플랫폼이 생성 시드 (generation seed)를 노출하는 경우, 모든 프레임 옆에 이를 기록하십시오. 일치하는 시드가 모델이나 파라미터 (parameter) 변경 후에도 동일한 결과를 보장하지는 않지만, 변경되지 않은 환경 내에서의 재현성 (reproducibility)은 향상시킵니다.

| 장면 (Scene) | 버전 (Version) | 시드 (Seed) | 승인 여부 (Accepted) | 거절 사유 (Rejection reason) |
| S01   | v01     | ...  | yes      | —                |
| S02   | v01     | ...  | no       | 상자가 두 개임 (two boxes)        |
...```

### 연속성 게이트 (Continuity gate)

다음 질문들에 대해 "예"라고 답할 수 있을 때까지 진행하지 마십시오:

- Lena가 모든 장면에서 동일한 인물처럼 보이는가?
- 로봇이 동일한 머리 모양과 주황색 삽입물 (inserts)을 유지하고 있는가?
- 올바른 캐릭터가 들고 있는, 크기가 동일한 상자가 정확히 하나만 있는가?
- 거리에서 작업실로 이동하는 과정이 이해 가능한가?
- 위성이 상자가 열린 후에만 나타나는가?

애니메이션은 일반적으로 문제를 숨기기보다는 키 프레임 (key-frame) 문제를 증폭시킵니다.

## 6. 짧은 클립을 독립적으로 생성하기

설치된 버전이 지원하는 경우 이미지-투-비디오 (image-to-video)를 사용하십시오. 승인된 프레임이 해당 장면의 시각적 앵커 (visual anchor)가 됩니다. 텍스트-투-비디오 (text-to-video)만 사용 가능한 경우에는 동일한 캐릭터 시트 (character sheets), 스타일 블록 (style block), 참조 (references), 그리고 기록된 파라미터 (parameters)를 재사용하십시오.

절제된 움직임부터 시작하십시오. 빠른 카메라 회전, 다수의 제스처, 그리고 세밀한 손 상호작용은 실패할 수 있는 변수의 수를 증가시킵니다.

      장면 (Scene)
      주요 움직임 (Main movement)
      안정적으로 유지되어야 함 (Must remain stable)

...

모든 소스 클립을 보존하십시오. S04_v01.mp4를 덮어쓰지 마십시오. 다음 시도는 S04_v02.mp4로 저장하십시오. 버전 관리된 에셋 (versioned assets)은 얼마나 많은 시도가 필요했는지, 그리고 파라미터 (parameter) 변경이 실제로 도움이 되었는지를 보여줍니다.

## 7. 음성 트랙 생성하기

테스트에는 두 개의 대사가 포함되어 있습니다:

S03, ROBOT:
"수취인 주소가 누락되었습니다. 배송을 완료할 수 없습니다."

...

음악이나 효과를 추가하기 전에 깨끗한 음성 파일(voice files)을 생성하세요. 파일명은 S03_robot_v01.wav 및 S06_lena_v01.wav로 저장합니다. 음성 구성 요소가 허용하는 경우 두 트랙에 대해 동일한 샘플 레이트 (sample rate)를 사용하고, 특정 값을 가정하는 대신 실제 값을 기록하세요.

각 파일에 대해 다음 사항을 확인하십시오:

- 첫 음절 또는 마지막 음절의 클리핑 (clipped syllable);
- 예상치 못한 발음 또는 강조;
- 할당된 장면보다 긴 지속 시간 (duration);
- 한 대사 내에서 변하는 목소리;
- 음성 전후의 원치 않는 무음 (silence).

립 싱크 (lip synchronization) 기능을 사용할 수 있다면, 먼저 이를 적용하지 않은 버전을 내보내기(export) 하세요. 그 다음 S06에만 적용하여 적용 전후의 얼굴을 비교하십시오. 이렇게 하면 비디오 생성 결함과 립 싱크 아티팩트 (lip-sync artifacts)를 구분할 수 있습니다.

## 8. 편집 조립 (Assemble the edit)

waoowaoo에 작동하는 타임라인 (timeline)이 있다면, S01–S06을 배치하고, 두 개의 음성 트랙을 추가하며, 장면 지속 시간을 확인한 후 하나의 제어 버전 (control version)을 내보내기 하세요. 연속성 결함 (continuity defects)을 숨기기 위해 정교한 전환 효과 (transitions)를 사용하는 것은 피하십시오.

내장된 조립 기능(built-in assembly)을 사용할 수 없거나 불안정한 경우, FFmpeg를 사용하여 중간 클립들을 정규화 (normalize) 하세요. 다음 명령어는 하나의 클립에 대한 중립적인 폴백 (fallback) 방법을 보여줍니다:

ffmpeg -i clips/S01_v01.mp4
-vf "scale=1280:720,fps=24,format=yuv420p"
-an -c:v libx264 -crf 20 -preset medium
...

clips/clips.txt 파일을 생성합니다:

file 'S01_normalized.mp4'
file 'S02_normalized.mp4'
file 'S03_normalized.mp4'
...

정규화된 클립들을 연결 (concatenate) 합니다:

ffmpeg -f concat -safe 0 -i clips/clips.txt
-c copy export/video_without_audio.mp4

연결에 실패할 경우, 모든 클립의 코덱 (codec), 해상도 (dimensions), 프레임 레이트 (frame rate), 픽셀 포맷 (pixel format), 그리고 타임 베이스 (time base)를 비교하십시오. 프로젝트 전체를 다시 인코딩하기 전에 불일치하는 파일을 식별하십시오.

정확한 지속 시간을 가진 최종 오디오 믹스 (audio mix)가 준비되면, 이를 결합합니다:

ffmpeg -i export/video_without_audio.mp4
-i audio/final_mix.wav
-c:v copy -c:a aac -b:a 192k -shortest
...

이 명령어들은 외부 조립 옵션이며, waoowaoo의 내부 구현에 대한 설명이 아닙니다.

## 9. 내보낸 파일의 기술적 검증 (Verify the exported file technically)

비디오를 플레이어에서 단순히 재생하는 것 이상을 수행하세요. ffprobe를 사용하여 스트림을 검사합니다:

ffprobe -v error
-show_entries format=duration,size:stream=index,codec_type,codec_name,width,height,r_frame_rate,sample_rate,channels
-of json
...

JSON 출력 결과에는 비디오 스트림 (video stream)과 오디오 스트림 (audio stream)이 모두 표시되어야 합니다. 측정된 재생 시간 (duration), 파일 크기 (file size), 해상도 (dimensions), 프레임 레이트 (frame rate), 비디오 코덱 (video codec), 오디오 코덱 (audio codec), 샘플 레이트 (sample rate), 그리고 채널 수 (channel count)를 기록하세요.

디코딩 검사 (decoding check)를 실행합니다:

ffmpeg -v error
-i export/last_delivery_run-001.mp4
-f null -

성공적으로 완료된 후 에러 출력 (error output)이 비어 있다면, FFmpeg이 디코딩 문제 (decoding problem)를 감지하지 못했음을 의미합니다. 이것이 내러티브 (narrative), 비주얼 (visuals), 또는 음성 (voice)이 정확하다는 것을 증명하는 것은 아닙니다.

## 10. 세 번의 별도 검토 단계 수행 (Perform three separate review passes)

### 1단계: 스토리만 검토 (Pass one: story only)

일시 정지하지 않고 시청하세요. 그런 다음 스토리를 한 문장으로 요약합니다. 만약 Lena가 왜 작업장으로 돌아가는지, 혹은 위성이 어디에서 왔는지 설명할 수 없다면 구조 (structure)가 실패한 것입니다.

### 2단계: 소리 없는 화면 검토 (Pass two: picture without sound)

비디오의 음소거 (mute) 상태에서 캐릭터의 정체성 (character identity), 동작 (actions), 조명 (lighting), 그리고 소품 (props)을 검사합니다. 모든 결함을 타임코드 (timecode)와 함께 기록하세요: