2개월 만에 AI 페이스리스(Faceless) 비디오 생성기를 만들었습니다 — 사용된 기술 스택 공개

6개월 전 저는 프롬프트를 2~5분 만에 완성된 숏폼 비디오로 변환해 주는 AI 비디오 생성기인 Keyvello (keyvello.com)를 시작했습니다. 동료 개발자분들을 위해 기술적인 세부 사항을 공유합니다.

문제 상황
TikTok / YouTube Shorts / Reels의 페이스리스(Faceless) 크리에이터들은 스크립트 작성, 보이스오버(Voiceovers), B-roll, 자막, 편집에 영상 하나당 2~4시간을 소비합니다. 대부분은 영상 10개를 올리기도 전에 번아웃을 겪습니다.

기술 스택

• 프론트엔드 (Frontend): Next.js 16, React 19, TypeScript, Tailwind CSS 4, Radix UI
• 백엔드 (Backend): Next.js API Routes (App Router)
• 데이터베이스 (DB): Supabase (Postgres + Auth + RLS)
• AI: 스크립트용 GPT-5.5, 이미지용 Fal.ai, 음성용 ElevenLabs
• 비디오 (Video): fluent-ffmpeg를 통한 FFmpeg, 이미지 프로세싱용 Sharp
• 스토리지 (Storage): Cloudflare R2 (S3 호환)
• 결제 (Payments): Dodo Payments
• 컴퓨팅 (Compute): 앱용 Vercel, 비디오 파이프라인용 Modal
• 상태 관리 (State): Zustand

파이프라인 (Pipeline)
프롬프트 → GPT-4o 스크립트 → 장면 분할기 (Scene splitter) → 병렬 처리 (Flux 이미지 + ElevenLabs 오디오) → FFmpeg 합성 (Modal) → R2 업로드 → 상태 업데이트

나를 놀라게 한 점들

• Modal이 Vercel에서 FFmpeg를 실행하는 것보다 훨씬 뛰어납니다. Vercel 함수의 콜드 스타트(Cold starts) 문제 때문에 60초 이상의 영상 제작이 불가능했습니다. Modal의 웹훅(Webhooks)이 이 문제를 해결했습니다.
• RLS(Row-level security)는 첫날부터 타협할 수 없는 요소입니다. 사용자 1,000명일 때 행 단위 보안을 사후에 적용하는 것은 매우 고통스럽습니다.
• 크레딧 환불은 별도의 RPC가 필요합니다. increment_user_credits가 트리거에 의해 차단되어 발생하는 무음 실패(Silent failure)를 겪었습니다. 대신 add_credits를 사용하세요.
• 사용자들은 가공되지 않은 제어권이 아니라 템플릿을 원합니다. 초기에 '빈 캔버스(Blank canvas)' 모드를 출시했지만, 아무도 사용하지 않았습니다. 11개의 지정된 템플릿(AI Stories, Fake Texts, Stick Animation 등)이 생성의 95%를 차지합니다.

다음 단계

• 말하는 아바타(Talking-avatar) 템플릿을 위한 더 나은 립싱크(Lipsync) 기능.
• 템플릿 등급별로 더 정교한 비용 제어.
• 제휴 프로그램(Affiliate program).

AI 비디오 분야에서 무언가를 만들고 계신다면 의견을 나누고 싶습니다 — 댓글을 남겨주세요.