대부분의 AI 비디오 생성에 관한 설명들은 "프롬프트를 입력하면 비디오가 나온다"는 수준에서 멈춥니다. 이는 "컴파일을 클릭하면 실행 파일이 나온다"는 말이 정확한 것과 같은 맥락이지만, 왜 어떤 AI 비디오 생성 모델은 다른 모델과 완전히 다르게 동작하는지, 혹은 실제로 측정했을 때 왜 이 기술의 비용과 성능 데이터가 지금과 같은 모습인지 이해하려는 사람에게는 무용지물입니다.

이 포스트는 AI 비디오 생성에 대해 한 단계 더 깊이 들어갑니다. 이는 현재의 AI 비디오 생성 아키텍처 (architecture)가 실제로 어떻게 작동하는지에 대한 기술적 분석이며, 대부분의 설명 콘텐츠가 완전히 건너뛰는 종류인 실제 광고 제작 사용 사례 전반에 걸쳐 이 시스템들을 테스트하며 추출한 실제 데이터와 결합되어 있습니다.

AI 비디오 생성 모델이 실제로 하고 있는 일

아키텍처 (architecture) 수준에서, 현재 대부분의 AI 비디오 생성 모델은 시간적 차원 (temporal dimension)으로 확장된 확산 기반 (diffusion-based) 시스템입니다. 텍스트-이미지 확산 모델 (text-to-image diffusion model)은 단일 프레임에서의 노이즈 프로세스 (noise process)를 역전시키는 법을 학습합니다. 비디오 생성 모델은 수십 또는 수백 개의 연속된 프레임 전체에서 일관성을 유지하면서 동일한 디노이징 (denoising) 프로세스를 수행해야 합니다. 이는 훨씬 더 어려운 최적화 (optimization) 문제이며, 비디오 생성이 사용 가능한 출력 품질 측면에서 이미지 생성을 약 2년 정도 뒤처졌던 이유이기도 합니다.

이러한 아키텍처의 실질적인 결과는 다음과 같습니다: 초기 AI 비디오 생성 모델은 일관된 단일 프레임을 쉽게 생성할 수 있었지만, 단 5초의 출력물에서도 객체, 얼굴 또는 배경을 일관되게 유지하는 데 어려움을 겪었습니다. 이는 주로 학습 데이터 (training-data)의 문제가 아니라, 긴 시간적 시퀀스 (temporal sequence) 전체에 걸쳐 프레임 간 어텐션 (cross-frame attention)을 유지하는 것이 계산적으로 얼마나 비용이 많이 드는가에 따른 직접적인 결과입니다. 비디오가 1초 추가될 때마다 모델이 공동으로 추론해야 하는 상태 공간 (state space)은 대략적으로 배수로 증가하며, 이것이 바로 지속 시간 (duration)이 해상도 (resolution)나 오디오 동기화 (audio sync)보다도 이 카테고리에서 극복하기 가장 어려운 단일 제약 조건이었던 이유입니다.

오디오-비디오 결합 생성이 아키텍처 측면에서 다른 이유

역사적으로 대부분의 AI 비디오 생성 모델은 오디오를 완전히 별개의 문제로 취급했습니다. 즉, 먼저 소리 없는 비디오를 생성한 다음, 나중에 텍스트 음성 변환 (TTS) 또는 오디오 생성 단계를 실행하여 시각적 타이밍에 맞추는 방식이었습니다. 이러한 2단계 접근 방식은 독립적으로 구축하고 훈련하기에는 더 간단하지만, 생성 과정 중에 어느 시스템도 상대방이 무엇을 하고 있는지에 대한 정보를 가지고 있지 않기 때문에 오디오와 시각적 움직임이 실제로 얼마나 잘 상관될 수 있는지에 한계를 설정하게 됩니다.

ByteDance의 Seed 팀에서 최근 발표한 결과물을 포함하여, 이 분야의 최신 아키텍처는 결합 생성 (joint generation)을 향해 나아가고 있습니다. 즉, 모델이 나중에 두 단계를 단순히 붙이는 것이 아니라, 동일한 생성 단계 내에서 오디오와 비디오를 동시에 추론합니다. 이는 점진적인 튜닝 개선이 아니라 진정으로 다른 아키텍처적 결정이며, 출력 품질에 직접적으로 나타납니다. 모델이 음향 정보에 대해 알지 못한 채 생성한 영상에 소리를 사후에 끼워 맞추는 것이 아니기 때문에, 입 모양 동기화 (lip-sync)와 주변 오디오 타이밍이 더 자연스럽게 일치합니다.

지속 시간의 한계, 그리고 그 한계가 변화한 이유

약 2년 동안 대부분의 프로덕션급 AI 비디오 생성 모델은 단일 생성당 약 5~10초 정도로 제한되었습니다. 이 한계는 임의적인 제품 결정이 아니었습니다. 이는 클립 중간에 출력이 드리프트 (drift), 아티팩트 (artifacting), 또는 정체성 상실 (identity loss)로 저하되지 않으면서 더 긴 시간적 창 (temporal window) 전체에 걸쳐 일관성을 유지하는 데 드는 실제적인 계산 비용을 반영한 것이었습니다.

최근 모델 출시들은 단일 생성 패스(single generation pass)에서 이 한계를 30초까지 끌어올렸으며, 확장 메커니즘을 통해 그 이상으로 지속하는 것이 가능해졌습니다. 여기에 도달하기 위해서는 단순히 같은 기반 설계에 더 많은 학습 컴퓨팅 자원(training compute)을 투입하는 것을 넘어, 모델이 시간적 차원(temporal dimension)에 걸쳐 어텐션(attention)을 할당하는 방식 자체에 실제적인 아키텍처 변화가 필요했습니다. 이 점은 정확하게 알아둘 가치가 있습니다. 왜냐하면 '더 긴 AI 비디오 생성'에 관한 많은 마케팅 문구들은 실제로 단순히 다이얼을 올린 것처럼 암시하지만, 이는 모델이 품질 저하 없이 훨씬 더 긴 시퀀스(sequence)에 걸쳐 상태(state)를 관리하는 방법을 재고해야 하는 것을 의미하기 때문입니다.

이것이 실질적으로 무엇을 의미하며, 데이터가 흥미로운 지점은 어디인가

여기서부터는 순수한 아키텍처 논의를 넘어 측정 문제(measurement problem)가 됩니다. 왜냐하면 어떤 AI 비디오 생성 모델의 실제 가치는 전적으로 출력을 가지고 무엇을 할 것인지에 달려 있으며, 바로 그 지점에서 실제 제작 데이터(production data)가 사양서(spec sheets)보다 더 유용해지기 때문입니다.

저희는 10개의 서로 다른 AI UGC 플랫폼에서 구조화된 비교를 수행했습니다. 각 플랫폼은 서로 다른 기반 비디오 생성 모델 또는 모델 세트를 감싸고 있었으며, 실제 렌더 카운트(헤드라인 플랜 가격이 아닌)를 고려하여 완성된 비디오당 실질적인 비용을 측정했습니다. 그 범위는 예상보다 넓었습니다. 일부 플랫폼은 렌더 할당량(render allotment)을 플랜 가격에 적절히 분배했을 때 완성된 비디오당 3달러 미만이었던 반면, 다른 플랫폼들은 기능적으로 유사한 출력임에도 불구하고 4달러를 초과했습니다. 이 데이터는 단순히 주장하는 것이 아니라 실제 계산 과정을 보여주며 플랫폼별로 상세하게 분류되어 있습니다. 생산 비용을 마케팅 페이지가 아닌 실제 예산에 맞춰 모델링하려고 한다면 AI UGC 비디오 가격 책정의 실제 비용 수학에 관한 동반 자료를 직접 읽어보는 것이 좋습니다.

두 번째로 공유할 가치가 있는 데이터 포인트는 다음과 같습니다. 즉, AI 생성 비디오 콘텐츠의 전환율은 기반 모델 아키텍처보다는 제품 카테고리별로 훨씬 더 큰 차이를 보입니다. 이는 진정으로 과소평가된 발견입니다. 사람들은 '더 좋은' 모델이 더 긴 지속 시간, 네이티브 오디오, 더 선명한 레퍼런스 충실도(reference fidelity)를 가져 모든 사용 사례에서 균일하게 더 나은 전환율을 보여줄 것이라고 예상할 것입니다. 하지만 그렇지 않습니다. 구매 결정이 눈에 보이는 결과물에 의존하는 카테고리(스킨케어, 피트니스 등)는 어떤 기반 모델 아키텍처로 생성했는지와 관계없이 인간 제작물과 거의 동등한 수준의 전환율을 보여주는 AI 생성 콘텐츠를 보입니다. 반면, 구매 결정이 특정 인물의 신뢰도에 의존하는 카테고리(금융 상품, 건강 관련 주장 등)는 가장 새롭고 구조적으로 진보된 모델을 사용하더라도 의미 있게 좁혀지지 않는 지속적인 격차를 보여줍니다. 실제 전환율 범위와 함께 제공되는 전체 카테고리별 분석은 10가지 다른 산업 분야에 걸친 AI UGC 전환율 측정 전문 자료에 문서화되어 있습니다.

이 두 번째 발견은 현재 이러한 API를 기반으로 제품을 구축하는 대부분의 사람들이 고려하지 않는 것보다 더 중요합니다. 만약 AI 비디오 생성 모델을 제품이나 워크플로우에 통합하고 있다면, 기반 모델의 구조적 정교함(architectural sophistication)보다는 어떤 사용 사례에 초점을 맞추는지가 더 큰 영향력(lever)입니다. 최첨단 모델을 잘못된 사용 사례에 적용하는 것이 적절한 사용 사례에 적용된 평범한 모델보다 여전히 성능이 떨어질 수 있습니다.

실제 사용 사례를 위한 AI 비디오 생성 모델 평가 방법

위의 아키텍처 논의를 바탕으로, 어떤 AI 비디오 생성 모델을 평가할 때 '어떤 모델이 최고의 벤치마크 점수를 가졌는가'보다 더 유용한 평가 프레임워크는 다음과 같습니다:

첫째, 지속 시간 요구사항 (Duration requirement first)- 만약 귀하의 유스케이스 (use case)가 8~10초 이상의 일관된 단일 샷 (single-shot) 출력을 필요로 한다면, 단순히 기존의 짧은 형식 모델을 저품질의 연속성 해킹 (continuation hack) 방식으로 확장한 모델이 아니라, 긴 지속 시간 아키텍처 (architecture) 문제를 제대로 해결한 소수의 모델 집합으로 즉시 선택지가 제한됩니다.

둘째, 오디오 요구사항 (Audio requirement second)- 만약 귀하의 유스케이스에서 동기화된 오디오가 중요하다면, '생성 후 더빙' (generate-then-dub) 방식의 2단계 파이프라인 (pipeline)보다 오디오-비디오 공동 생성 (joint-generation) 아키텍처가 훨씬 더 나은 입술 동기화 (lip-sync) 및 주변 환경 타이밍을 만들어냅니다. 이는 근본적인 아키텍처 선택이 단순히 이론적인 수준을 넘어 출력 품질에서 직접적으로 눈에 보이는 몇 안 되는 사례 중 하나입니다.

셋째, 참조 일관성 (Reference consistency third)- 만약 귀하의 유스케이스가 여러 번의 생성 과정 동안 일관된 피사체, 제품 또는 스타일을 유지해야 한다면, 모델이 실제로 얼마나 많은 참조 입력 (reference inputs)을 지원하는지, 그리고 긴 시퀀스 (sequence) 동안 발생하는 드리프트 (drift)를 어떻게 처리한다고 보고되는지 확인하십시오. 이는 유사한 지속 시간과 오디오 능력을 갖추었더라도 아키텍처에 따라 크게 달라지기 때문입니다.

마지막으로, 출력당 비용 (Cost-per-output last, but not least)- 위의 세 가지 제약 조건으로 인해 귀하의 특정 기술적 요구사항을 실제로 해결하는 모델로 선택지가 좁혀졌다면, 출력당 비용이 결정적인 변수가 됩니다. 바로 이 지점에서 헤드라인 가격을 비교하는 것보다 실제 나눗셈(계획된 가격을 실제 출력 횟수로 나눔)을 수행하는 것이 더 중요해집니다.

구체적인 예시: 동일한 브리프 (brief)에 대한 두 가지 생성 방식 비교

아키텍처에 관한 논의를 덜 추상적으로 만들기 위해, 동일한 크리에이티브 브리프 (creative brief)를 구조적으로 다른 두 가지 AI 비디오 생성 방식, 즉 '생성 후 더빙' 방식의 2단계 파이프라인과 '오디오-비디오 공동 생성' 파이프라인에 실행했을 때 실제로 어떤 일이 일어나는지 살펴보는 것이 가치가 있습니다.

브리프 (brief): 유료 소셜 광고로 사용할 목적으로, 스킨케어 제품에 대해 발표자가 카메라를 정면으로 응시하며 말하는 15초 길이의 단일 연속 샷 제품 데모.

2단계 (two-stage) AI 비디오 생성 파이프라인에서는 프로세스가 대략 다음과 같이 진행됩니다: 비디오 생성 모델이 먼저 시각적 일관성 (visual coherence)과 움직임 (motion)만을 최적화하여 15초 길이의 무음 영상을 생성하며, 이때 모델은 클립에 최종적으로 어떤 오디오가 동반될지에 대한 정보를 전혀 가지고 있지 않습니다. 그 다음, 별도의 텍text-to-speech (TTS) 또는 음성 복제 (voice-cloning) 시스템이 독립적으로 오디오 트랙을 생성하며, 마지막 정렬 (alignment) 단계에서 생성된 음성에 맞춰 입 모양을 최대한 가깝게 동기화하려고 시도합니다. 그 결과물은 개별적으로는 시각적으로 설득력 있고 청각적으로 명확한 경우가 많지만, 두 요소 사이의 정렬은 근본적으로 양쪽 절반이 이미 독립적으로 존재한 후에 적용되는 최선의 노력에 의한 수정 (best-effort correction)일 뿐입니다. 음절이 해당하는 입 모양과 몇 프레임 정도 어긋나는 것과 같은 미세한 타이밍 불일치는 흔하게 발생하며, 이는 영상 자체의 시각적 품질 문제보다도 해당 콘텐츠가 AI로 생성되었다는 것을 알려주는 가장 확실한 시각적 단서가 됩니다.

결합형 (joint) AI 비디오 생성 파이프라인에서는, 동일한 15초 분량의 브리프(brief)가 동일한 기본 표현 (underlying representation)으로부터 오디오와 시각적 출력을 동시에 추론하며 생성됩니다. 이 모델은 사후에 불일치를 수정하는 것이 아니라, 애초에 두 요소를 독립적으로 생성하지 않습니다. 실제 테스트 결과, 이는 훨씬 더 정교한 립싱크 (lip-sync)와 말하기 리듬 및 제스처 사이의 더 자연스러운 페이싱 (pacing)을 만들어냅니다. 이는 시각적 움직임과 오디오가 시스템이 조정해야 할 별개의 문제가 아니었기 때문입니다.

여러분이 구축을 고려 중인 어떤 AI 비디오 생성 아키텍처 (architecture)라도 평가할 수 있는 진정으로 유용한 방법은 다음과 같습니다: 결과물을 단 한 번만 보지 마세요. 입 모양의 움직임과 오디오 타이밍이 함께 계획된 것처럼 느껴지는지, 아니면 사후에 조정된 것처럼 느껴지는지를 구체적으로 관찰하십시오. 그 단 하나의 특징이 대부분의 사양서(spec sheet)가 직접적으로 명시하는 것보다 해당 기반 아키텍처에 대해 더 많은 것을 드러내며, 이는 모델의 내부 구조에 접근할 필요 없이 샘플 결과물을 1분 미만으로 시청하는 것만으로도 스스로 확인할 수 있는 차이입니다.

대부분의 기술적 평가가 범하는 측정 오류

직접적으로 이름을 언급할 가치가 있는 특정한 오류가 있는데, 이는 사람들이 실제 프로덕션 사용 사례를 위해 AI 비디오 생성 모델을 평가할 때 끊임없이 나타나기 때문입니다. 바로 출력당 비용 (cost-per-output)과 카테고리별 성능을 별도로 측정하지 않은 채, 벤치마크 점수와 아키텍처의 정교함을 실제 가치의 대리 지표 (proxy)로 취급하는 것입니다.

모델이 지속 시간 (duration), 해상도 (resolution), 참조 충실도 (reference fidelity), 오디오 동기화 (audio sync) 등 모든 기술적 축에서 높은 점수를 받을 수 있지만, 모델의 기술적 품질과는 전혀 상관없는 이유로 특정 프로덕션 파이프라인에는 잘못된 선택이 될 수 있습니다. 만약 여러분의 사용 사례가 아키텍처의 개선이 실제 결과 지표 (앞서 논의한 신뢰 격차 카테고리)를 변화시키지 못하는 카테고리에 속해 있다면, 여러분은 최적화하려는 결과로 이어지지 않는 기능에 비용을 지불하고 있는 것입니다. 그리고 헤드라인에 나온 계획 가격을 믿는 대신 실제 계산을 해보았을 때, 출력당 실질 비용이 아키텍처 측면에서 덜 인상적인 대안보다 유의미하게 높다면, 서류상으로 "더 나은" 모델이 여러분의 실제 예산과 실제 사용 사례에는 더 나쁜 선택이 될 수 있습니다.