영상 생성 모델(Video Generation Model)이 아니라, **언어 모델(Language Model)**이 코드를 작성하여 3D 애니메이션 영상을 만들어냅니다. Claude Opus 5.5가 등장하면서 급물살을 탄 이 '코드로 애니메이션 만들기' 흐름은, 이어지는 Claude Fable 5.2 같은 최신 모델에 이르러 영화의 한 장면급 표현까지 확장되었으며, SNS나 영상 플랫폼에서 큰 화제가 되고 있습니다.
'AI로 영상을 만든다 = Sora나 Seedance와 같은 영상 생성 모델에 프롬프트를 던지는 것'이라고 오해하고 있다면, 이 움직임은 다소 이상하게 보일 수 있습니다. 하지만 실제 제작 현장에서는 영상 생성 모델 단일 선택 시대는 이미 끝나가고 있습니다. 용도에 따라 '픽셀을 직접 생성하는 방식', '브라우저용 코드로 그리는 방식', '전문 3D 소프트웨어(Blender)를 에이전트에게 조작시키는 방식'의 세 가지 경로를 사용하는 것이 현실적인 해결책이 되었습니다.
사실 저 자신도 영상 제작 스킬을 직접 만들었고, 이를 이용해 TikTok(@lumichy1)에 영상을 게시하고 있습니다. 자가 개발한 스킬의 구체적인 설계나 운영 노하우는 다른 기회에 다시 소개하고자 하지만, 이번에는 먼저 기반이 되는 전체적인 그림으로서, AI 에이전트로 영상을 만드는 3가지 방법과 각각의 활용법, 그리고 화제가 되고 있는 Blender × 에이전트 연동 실습 절차를 정리합니다.
이 글을 다 읽고 나면, 자신이 만들고 싶은 영상에 어떤 경로를 선택해야 할지, 더 나아가 토큰이나 렌더링 시간을 낭비하지 않기 위한 핵심 포인트까지 한 번에 파악할 수 있을 것입니다.
먼저 전체적인 개요를 표 하나로 정리하겠습니다. AI 에이전트를 축으로 영상을 만들 경우, 기술 경로는 크게 다음 3가지로 나뉩니다.
| 비교 항목 | 방법①: AI 영상 생성 모델 | 방법②: 프론트엔드 코드 구동 | 방법③: Blender × AI 에이전트 |
|---|
| 대표 기술 | Seedance, MiniMax H3 등 | Three.js, HTML / CSS / SVG / Canvas | Blender + Python API (bpy) / MCP |
| 생성 메커니즘 | 확산 모델 등으로 영상 픽셀을 직접 생성 | 코드를 브라우저에서 그려 프레임을 결합 | Python이나 MCP로 3D 시신을 구축 및 렌더링 |
| 문자・구조의 정확성 | 무너지기 쉬움 (문자 깨짐・형태 변화 있음) | 매우 높음 (좌표・텍스트를 엄밀하게 제어) | 매우 높음 (3D 공간 배치・구조를 엄밀하게 제어) |
| 비주얼 질감・표현 | 실사풍・영화적 카메라 워크・인물에 강함 | 파티클・데이터 시각화・UI 계열에 강함 | 정밀 모델링・리얼한 재질・라이팅에 강함 |
| 렌더링 속도 | 빠름 (수 초~수 분 내 배포 가능) | 빠름 (실시간 드로잉에 가까움) | 느림 (고화질 설정일수록 시간이 걸림) |
| 주요 약점 | 세부 사항이나 카메라 회전 시의 일관성 제어가 어려움 | 복잡한 3D 조형이나 포토리얼 질감에 한계 | 렌더링 대기 시간과 토큰 소모가 무거움 |
| 적합한 용도 | 크리에이티브 중시, 인물, SNS 단편 영상 | 과학・기술 데모, 3D 데이터 시각화, 고속 양산 | 제품 분해도, 기계・건축 해설, 고품질 3D 애니메이션 |
같은 '달리는 개'를 주제로 해도, 세 가지 경로에서는 출력되는 영상의 질감이나 제어 방향성이 이렇게 달라집니다.
요컨대, 무엇을 절대 무너뜨리고 싶지 않은가에 따라 선택 방법이 결정됩니다. 시각적인 역동성과 속도라면 ①, 코드에 의한 엄밀함과 경쾌함이라면 ②, 구조의 정확성과 프로급 3D 질감을 양립하고 싶다면 ③입니다.
Seedance나 MiniMax H3 같은 영상 생성 모델을 사용하여, 영상 자체를 픽셀 단위로 직접 출력시키는 접근 방식입니다. AI 에이전트와 결합할 경우, 에이전트가 '기획 수립 → 시퀀스 분할 → 각 컷의 프롬프트 생성 → 영상 생성 API 또는 로컬 추론 호출 → 음성・자막과의 결합'과 같은 감독 역할을 맡게 됩니다.
최대 무기는 시각적인 임팩트와 제작 속도입니다. 인물의 자연스러운 동작, 영화적인 카메라 워크, 화려한 VFX 연출을 단시간에 뽑아낼 수 있는 것은 역시 영상 생성 모델의 독무대라고 할 수 있습니다. SNS용 쇼츠 비디오나, 우선 분위기로 시청자의 눈길을 사로잡고 싶은 도입부 컷에서는 압도적으로 편리합니다.
한편, 실제로 여러 번 시도해 보면 반드시 부딪히는 벽이 있습니다. 그것은 바로 문자 정확성과 공간 구조의 일관성입니다. 화면 내 라벨 문자가 미묘하게 뭉개지거나, 카메라가 뒷면으로 돌아가는 순간 기계 부품 배치가 어느새 다른 것으로 바뀌어 있는 현상은 2026년 시점의 모델에서도 제로(zero) 상태는 아닙니다. 도해나 제품 구조처럼 '1mm의 오차도 오해를 불러일으키는' 영상에는 적합하지 않습니다.
언어 모델이 HTML / CSS / SVG 또는 Three.js 코드를 작성하고, 브라우저(혹은 헤드리스 브라우저)에서 렌더링한 프레임을 연결하여 영상을 만드는 접근 방식입니다. 저 자신도 매일 영상 제작을 하면서 절실히 느끼지만, 코드 기반으로 전환하는 순간 '글자 깨짐'과 '의도치 않은 레이아웃 붕괴' 스트레스에서 한 번에 해방됩니다.
특히 Three.js를 사용하면 3D 공간을 코드로 구동하여 그대로 다룰 수 있습니다.
- 테크 느낌이 나는 파티클 연출
- 수치 데이터와 연동된 3D 데이터 시각화
- 알고리즘이나 네트워크 통신 절차적 설명 데모
이러한 용도에서는 Blender를 실행하는 것보다 Three.js가 훨씬 직관적이며, 무엇보다 렌더링 속도가 압도적으로 빠르다는 것이 강점입니다. 시도와 오류의 회전수를 높이고 싶은 해설 채널이나, 웹상에서 그대로 인터랙티브하게 보여주고 싶은 교재에 탁월한 조합을 자랑합니다.
하지만 약점 또한 명확합니다. 복잡한 형태의 3D 모델링이나, 금속/유리/천 같은 사실적인 재질 표현, 물리 기반의 정교한 라이팅까지 요구하기 시작하면, 브라우저 렌더링만으로는 표현력에 천장이 보입니다.
그래서 Opus 5.5 이후 급부상하며, Fable 5.2와 같은 최신 모델에서 더욱 주목받고 있는 것이 Blender를 AI 에이전트가 조작하게 하는 세 번째 루트입니다.
Blender는 1994년에 탄생한 무료 오픈소스 3D 제작 소프트웨어입니다. 모델링, 재질 설정(Material), 라이팅, 애니메이션, VFX, 최종 영상 렌더링까지, 3D 영상 제작의 전 과정을 하나의 소프트웨어로 완성할 수 있습니다. 단편 애니메이션은 물론, 상업 광고나 영화 특수효과에도 현장에서 투입되는 전문적인 도구입니다.
지금까지 Blender의 가장 큰 허들은 '조작이 너무 어렵다'는 것이었습니다. 화면에 늘어선 방대한 패널과 단축키를 사람이 익히는 데만 몇 달이 걸립니다.
그런데 Blender에는 AI 에이전트와 결합하기에 결정적인 설계가 있었습니다. 그것은 마우스 클릭으로 수행하는 거의 모든 조작이 내장된 Python API (bpy)로 그대로 작성할 수 있다는 점입니다.
- 정육면체 하나 배치하기 → Python 1줄
- 색상이나 재질 할당하기 → Python 1줄
- 애니메이션 키프레임 찍기 → Python 1줄
즉, 사람이 복잡한 GUI를 필사적으로 외울 필요가 없습니다. 만들고 싶은 영상을 자연어로 AI 에이전트에게 전달하고, 에이전트가 Python 코드를 작성하여 Blender에 넘겨주기만 하면, 전문가 수준의 3D 파이프라인이 작동하기 시작합니다.
참고 영상에서도 이 루트로 실제로 제작된 네 가지 표현 장르를 소개했습니다.
- 테크 제품 고화질 렌더링 — 반도체 칩 분해 애니메이션(explode view)이나, GPU/회로 내부의 데이터 흐름 해설. 영상 게시자 본인도 Codex + Blender로 GPU 작동 원리 해설을 제작했습니다.
- 3D 카툰 애니메이션 — Claude Code나 DeepSeek를 모티브로 한 3D 캐릭터 단편 애니메이션.
- 영화급 CG/게임 프로모션 영상 — 실사와 구별하기 힘든 라이팅과 질감을 입힌 시네마틱 표현.
- 건축/인프라 공학 해설 애니 — 초고층 빌딩이 1층씩 쌓아 올라가는 건축 과정이나, 광섬유 통신·클라우드 AI 작동 설명.
지금까지의 정리를 한마디로 요약하자면, 판단 기준은 다음 세 가지에 달려 있습니다.
- 시각적 크리에이티브와 속도 최우선 → AI 영상 생성 모델 -
- 코드를 통한 엄격한 제어와 고속 렌더링 → Three.js 등의 프론트엔드 코드 -
- 정밀한 3D 조형과 프로급 질감/라이팅 → Blender × AI 에이전트
하지만 현장에서 실제로 효과를 보는 것은 '어느 하나에 얽매이지 않는' 설계입니다. 예를 들어, 도입부의 3초 동안만 AI 영상 생성 모델로 시선을 사로잡는 컷을 만들고, 본편의 시스템 설명을 Three.js나 Blender로 정확하게 보여주는 식입니다. 실제 제작에서는 이러한 하이브리드 구성이 가장 높은 성공률(수율)을 보입니다.
여기서는 세 번째 경로인 Blender × AI 에이전트를 실제로 직접 시도해 볼 절차를 정리하겠습니다.
우선 공통적인 사전 준비는 단 하나뿐입니다. Blender 공식 웹사이트에서 Blender를 다운로드하여 설치만 해두면 됩니다. 설치가 완료되면, 복잡한 UI 조작법을 익히기 전에 에이전트 측에 주도권을 넘겨주어도 괜찮습니다.
에이전트가 Blender를 구동하는 연결 방식은 크게 CLI(Command Line Interface) 구동과 MCP 연결의 두 가지로 나뉩니다.
Claude Code, Codex, DeepSeek Harness와 같은 코딩 에이전트에게 Python 스크립트를 작성하게 하고, 커맨드라인에서 Blender를 백그라운드로 실행(--background)하여 그대로 영상을 추출하는 방식입니다.
최소 구성의 Python 스크립트(render_scene.py)는 다음과 같은 골격이 됩니다.
import bpy
bpy.ops.wm.read_factory_settings(use_empty=True)
...
터미널에서는 다음 명령어로 실행할 수 있습니다 (환경에 맞춰 Blender 실행 파일의 경로를 조정해 주세요).
& "C:\Program Files\Blender Foundation\Blender 4.x\blender.exe" --background --python render_scene.py
...
CLI 방식은 배치 처리나 정형화된 템플릿을 대량으로 생성하는 데 강점이 있지만, 실행이 끝날 때까지 중간 결과물의 모습을 확인하기 어렵다는 단점이 있습니다.
평소 제작 과정에서 특히 추천되는 것은 오픈소스인 MCP for Blender (구 명칭 blender-mcp)를 사용하는 방식입니다.
MCP(Model Context Protocol)를 통해 연결해 두면, 에이전트가 구동 중인 Blender를 직접 조작하면서도 현재 씬 구조나 뷰포트의 렌더링 결과를 확인하며 실시간으로 수정을 진행할 수 있습니다. 참고 영상에서도 실용적인 측면에서는 이 MCP 방식이 권장되었습니다.
도입은 다음 두 단계로 완료됩니다 (uv가 설치된 환경을 전제로 합니다).
ahujasid/mcp-for-blender에서 addon.py를 가져와, Blender의 Edit > Preferences > Add-ons에서 설치 및 활성화합니다. 3D 뷰포트에서 N 키를 눌러 사이드바를 열고, MCP for Blender 탭에서 서버를 구동해 둡니다.
자동 설정 명령어를 사용하거나, 이용 중인 클라이언트에 직접 등록합니다.
uvx mcp-for-blender setup
...
Claude Desktop이나 Cursor 등에서 JSON을 수동으로 설정할 경우에는 다음 내용을 추가합니다 (구 패키지명 blender-mcp도 호환 래퍼로 작동하지만, 신규 도입 시에는 mcp-for-blender를 사용하는 것이 확실합니다).
{
처음부터 에이전트에게 “사이버풍 GPU 해설 애니메이션을 Blender로 만들어줘”라고 던지면, 상당한 확률로 상상했던 톤과 다른 3D 장면이 나옵니다. 여기서 “빛을 더 따뜻하게”, “카메라를 조금 더 뒤로 빼줘”와 같이 채팅으로 수정해 나가다 보면, Blender용 복잡한 코드를 여러 번 다시 생성해야 하는 상황에 놓이고 토큰이 순식간에 소모됩니다.
이를 방지하는 가장 효과적인 방법은 **먼저 이미지 생성 AI로 키 비주얼(key visual)을 하나 확정**하는 것입니다. 정지 이미지를 생성하는 것은 빠르고 비용도 적게 들기 때문에, 구도, 색상 배합, 질감의 방향성을 이미지 생성 단계에서 만족할 때까지 다듬습니다. 이 1장의 이미지를 레퍼런스 이미지로 에이전트에게 전달하며 “이 이미지의 분위기와 색상 조합에 맞춰 Blender로 모델링해 줘”라고 지시하면, 첫 시도에서의 성공률이 비교할 수 없을 만큼 높아집니다.
에이전트에게 아무 제약 없이 영상 제작을 맡기면, 지나치게 배려하는 나머지 처음부터 고해상도의 MP4 렌더링까지 한 번에 실행하려 합니다. 하지만 Blender의 동영상 렌더링은 기기 부하가 높고, 길이가 길어지면 수십 분 단위의 시간이 걸립니다. 그리고 출력이 끝난 후에야 “아, 카메라가 피사체 속에 파묻혀 있었네”라고 깨닫는다면 정말 난감합니다.
프롬프트에는 처음부터 다음 문장을 반드시 포함하는 것이 원칙입니다.
**렌더링 과부하를 막는 프롬프트 정형문**
“우선 MP4 동영상 렌더링은 실행하지 마세요. Blender 내에서 제가 미리보기 확인 가능한 상태(‘.blend’ 저장 및 뷰포트 확인)까지 구축하고, 제가 OK 사인을 준 후에 렌더링을 실행해 주세요.”
이 한 줄만 추가하는 것만으로도, 확인 전의 불필요한 대기 시간을 거의 제로에 가깝게 만들 수 있습니다.
2026년 11월 시점에서는 어떤 모델이라도 동일한 품질의 3D 코드를 작성할 수는 없습니다. 공간 기하학(spatial geometry) 파악 능력, 카메라 좌표의 일관성, 긴 `bpy` 스크립트를 오류 없이 조립하는 능력에는 아직 명확한 실력 차이가 존재합니다.
영상 내에서의 체감 난이도 역시 현재 우선순위가 상당히 명확했습니다.
- **최강자** — **Claude + Opus 5.5 / Fable 5.2** (Desktop / Claude Code). 코드를 통한 애니메이션 제작이 급격히 발전한 Opus 5.5를 비롯해, 최신 세대인 Fable 5.2는 복잡한 3D 구도나 라이팅의 오류가 가장 적고, Blender MCP와의 대화 수정(dialogue correction) 또한 안정적입니다.
- **차선책** — **Codex** (GPT-6 Astra / GPT-6.1 Sol). GPU 해설 같은 테크 분야 3D 장면에서도 충분히 실용적인 결과를 보여줍니다.
- **기타 에이전트** — DeepSeek Harness나 Qoder와 같은 최신 모델들도 단순한 장면은 구현할 수 있지만, 오브젝트 수가 늘어난 복잡한 3D 애니메이션의 경우 형태가 추상화되기 쉬우며, 현재는 아직 시행착오가 필요한 단계입니다.
복잡한 3D 영상에 도전하려면, 먼저 공간 이해력과 장문 코드 생성에 강한 상위 모델로 기본 구조를 잡고, 세부적인 정형 작업만 가벼운 모델에게 맡기는 것이 현실적입니다.
Blender에서의 최종 렌더링이나 여러 컷의 연속 구축은 아무래도 시간이 오래 걸립니다. 자리를 비우고 식사나 외출을 하는 사이에 돌려놓고 싶은데, 에이전트 운영에서 흔히 발생하는 사고가 “집에 돌아왔더니 첫 10분 동안 명령어 실행 승인 다이얼로그가 떠서 멈춰버리는” 경우입니다.
외출 중에도 데스크톱 화면 전체를 확인하여 승인이나 미리보기 작업을 할 수 있도록 원격 데스크톱 환경을 병행하면, PC 앞에 붙어있지 않아도 비동기적으로 영상 제작을 진행할 수 있습니다.
AI 에이전트로 영상을 만드는 방식은 현재 크게 **3가지 경로**로 정리할 수 있습니다.
- **AI 동영상 생성 모델** — 시각적 역동성, 인물 표현, 영화적인 카메라 워크, 속도감을 중시할 때 선택합니다.
- **Three.js 같은 프론트엔드 코드** — 텍스트나 구조의 정확성과 빠른 렌더링, 데이터 시각화가 필요할 때 선택합니다.
- **Blender × AI 에이전트** — 구조적 엄밀함에 더해 정밀한 3D 모델링이나 사실적인 질감/라이팅까지 원할 때 선택합니다.
이 세 가지는 어느 하나를 골랐다고 해서 다른 것을 버려야 하는 것이 아니라, 장면에 따라 조합해야 진가를 발휘합니다. 특히 Blender 경로는 “먼저 정지 이미지로 방향 확정 → MCP를 거쳐 미리보기 확인 → 마지막에 MP4 쓰기”라는 순서를 지키기만 해도 토큰 낭비와 재작업을 크게 줄일 수 있습니다.
서두에서 조금 언급했지만, 저 자신도 이러한 영상 제작 파이프라인을 에이전트 스킬로 직접 만들어서 TikTok(@lumichy1)에 실제로 영상을 게시하고 있습니다. 그 직접 만든 스킬의 비하인드나, 시행착오를 거치면서 발견한 운영 노하우에 대해서는 다른 글로 자세히 정리할 예정입니다.
여러분은 AI로 영상을 만들 때, 영상 생성 모델 파이인가요, 아니면 코드/Blender 파이인가요? 실제로 시도해 보고 흥미를 느꼈던 부분이나 추천하는 조합이 있다면, 댓글로 꼭 알려주세요.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42