이 기술은 정말로 혼자서 애니메이션 스튜디오 하나를 이길 수 있는 가능성을 보여주었습니다. 저는 이 기술을 사용해 DeepSeek V4-Flash 영상을 만들었습니다.

한 사람, 하나의 명령어, 40위안(약 7,500원), 2분짜리 영화 같은 애니메이션 과학 교육 영상.

한눈에 봐도 AI 티가 나는 쓰레기 같은 영상이 아닙니다. 캐릭터가 무너지지 않고, 목소리가 일관되며, 카메라 워킹(Shot language)이 있고, 내레이션에 리듬감이 있는 제대로 된 영상입니다.

이것의 이름은 animated-voiceover이며, 방금 오픈 소스로 공개되었습니다(MIT 라이선스). 저자는 전 ByteDance 제품 매니저인 @s1dashu이며, 그는 이미 이 도구를 사용해 Xiaohongshu에서 채널을 키우고 있습니다.

이것은 소프트웨어나 App이 아니라, Codex/Claude Code에 입력하는 완전한 제작 프로세스(Production Workflow)입니다. 당신은 그저 이렇게 한 마디만 하면 됩니다: "animated-voiceover를 사용해서 확증 편향(Confirmation Bias)에 관한 2분짜리 애니메이션 과학 교육 영상을 만들어줘". 그러면 나머지 Agent가 프로세스에 따라 실행합니다:

먼저 연구하고, 전체 내레이션을 작성합니다.
시각적 스타일 참조 이미지(Visual Style Reference)를 고정하고, 캐릭터 참조 이미지(Character Reference)를 고정합니다.
매 15초를 5개의 샷(Shot)으로 나누고, 각 샷마다 주체, 변화, 카메라 움직임을 명확히 작성합니다.

먼저 첫 번째 구간을 생성하여 음성을 추출하고, 48kHz 스테레오 WAV 파일로 고정합니다.

이후 모든 클립은 이 동일한 음성 참조를 사용합니다. 목소리가 들쭉날쭉한 문제는 엔지니어링(Engineering) 방식으로 해결되었습니다.

구간별로 QC(Quality Control)를 진행합니다. 내레이션의 완전성, 캐릭터 일관성, 구도, 움직임 등을 확인하며 부적합할 경우 다시 수행합니다.
마지막으로 영상을 편집하고 커버를 만듭니다.

가장 강력한 점은 문제 해결 방식이 신비주의(Metaphysics)가 아닌 철저히 엔지니어링 사고(Engineering Thinking)에 기반한다는 것입니다.

AI 영상의 가장 큰 페인 포인트(Pain Point)는 무엇인가요? 구간마다 목소리가 다르고, 캐릭터의 얼굴이 진행되면서 변하며, 샷 사이의 논리가 없다는 점입니다.

그는 어떻게 해결했을까요? 먼저 첫 번째 구간을 만들어 음성을 앵커링(Anchoring)하고, 이후 모든 구간을 이 참조에 연결합니다.

한 장의 스타일 이미지가 영상 전체를 관통하며, 각 캐릭터는 독립적인 참조 이미지와 캐릭터 시트(Character Sheet)로 관리됩니다.

내레이션 작성이 완료된 후 컷을 나눕니다. 중국어 기준으로 15초당 60자 정도로 맞추어, 단 한 글자도 넘치거나 모자라지 않게 정보 밀도를 균일하게 유지함으로써 기계적이지 않게 만듭니다.

이것은 단순히 "영상을 생성해줘"가 아닙니다. 전문 애니메이션 감독의 머릿속에 있는 제작 프로세스를 Agent가 실행할 수 있는 기술(Skill)로 변환한 것입니다.

2분짜리 영상 한 편을 LibTV로 돌리는 데 약 40위안 정도가 듭니다. 한 사람이 오후 내내 주제 선정부터 완성까지 마칠 수 있습니다. 예전에는 팀 단위로 일주일은 걸려야 했던 작업입니다.

저자는 한 가지를 반복해서 강조합니다: 90%는 자동화되지만, 나머지 10%의 인간의 판단이 상한선을 결정한다는 것입니다. 당신은 주제를 정하고, 스타일을 결정하며, 승인(Approval)을 담당하세요. 나머지 반복적이고, 실수하기 쉽고, 고된 작업은 모두 Agent에게 맡기면 됩니다.

이것이야말로 Agent Skill이 지향해야 할 모습입니다.
단순히 대화를 나누거나 프롬프트(Prompt) 작성을 도와주는 것이 아니라, 연구부터 스크립트, 스토리보드(Storyboard), 렌더링, QC, 최종 편집에 이르는 전문적인 전체 생산 파이프라인(Production Pipeline)을 당신이 언제든 호출할 수 있는 하나의 능력으로 캡슐화(Encapsulation)하는 것입니다.

지식 인플루언서, 슈퍼 개인(Super Individual), 깊이 있는 콘텐츠를 만들고 싶지만 애니메이션 기술이 없는 사람들에게 이 도구의 가치는 아무리 강조해도 지나치지 않습니다. Bilibili나 Xiaohongshu의 영화 같은 과학 교육 채널들은 예전에는 팀 단위로 움직여야 했지만, 이제는 혼자서도 가능합니다.

GitHub에서 s1dashu/animated-voiceover를 검색해 보세요. SKILL.md와 references 디렉토리에 모든 노하우가 담겨 있습니다. 내레이션을 어떻게 쓰는지, 스토리보드를 어떻게 나누는지, 음성을 어떻게 고정하는지, Seedance의 프롬프트를 어떻게 사용하는지 모두 상세히 공개되어 있습니다.

AI가 콘텐츠 크리에이터를 대체할 수 있을지 더 이상 묻지 마세요. 이런 도구를 사용할 줄 아는 크리에이터가, 사용하지 못하는 크리에이터를 대체하고 있습니다.