몇 달 동안 AI 비디오 프롬프트를 작성해 보았습니다. 공식을 찾기 전까지는 모두 엉망이었습니다.

아무도 이야기하지 않는 문제

모두가 AI로 생성된 비디오를 게시하고 있습니다 — 립싱크(lip-sync)를 하며 말하는 캐릭터, 살아 움직이는 만화 패널, 춤추는 버추얼 아이돌까지 말이죠. 사람들은 이렇게 말합니다: "그저 원하는 것을 설명하기만 하면 됩니다."

저도 시도했습니다. 몇 달 동안 말이죠. 제가 겪은 결과는 다음과 같습니다:

2프레임 만에 캐릭터의 얼굴이 변형됨
"천천히 올려다본다"가 "격렬하게 머리를 흔든다"로 변함
보이스오버(Voice-over)가 구글 번역기처럼 들림
동일한 프롬프트로 3번 실행했으나, 3번 모두 완전히 다른 결과가 나옴
무엇을 포함해야 할지, 프롬프트 길이는 어느 정도여야 할지 전혀 모르겠음

튜토리얼들은 너무 모호하거나("상세하게 작성하세요") 너무 기술적이었습니다(첫 줄부터 파라미터 튜닝(parameter tuning) 요구).

진짜 문제는 비디오 프롬프트가 텍스트/이미지 프롬프트와 구조적으로 다르다는 점입니다. 시각 요소, 움직임(motion), 오디오(audio), 카메라(camera), 그리고 일관성 제약 조건(consistency constraints)을 적절한 순서와 적절한 길이로 동시에 제어해야 합니다.

내가 발견한 것

Model Studio 공식 리포지토리(repo)에서 happyhorse-prompt-studio라고 불리는 기술을 발견했습니다. 이것은 이론을 가르치는 것이 아니라, 당신에게 질문을 던지고 당신을 위해 프롬프트를 조립해 줍니다.

4단계 흐름:

1. 영감 메뉴 (Inspiration Menu)

HappyHorse가 할 수 있는 4가지 "스타일(flavors)"을 보여줍니다:

스타일	기능
A · 음성이 포함된 만화 드라마	캐릭터들이 목소리 + 립싱크(lip-sync)와 함께 서로 대화함
...

2. 발견 (Discovery)

대화하듯 질문합니다: 캐릭터의 외형, 장면, 감정, 대화, 목소리 유형, 아트 스타일(art style), 카메라.

3. 프롬프트 조립 (Prompt Assembly)

**HappyHorse 공식(Formula)**을 사용하여 조립합니다:

장면(Scene) + 피사체(Subject) + 움직임(Motion) + 오디오(Audio) + 품질(Quality)

핵심 기술:

@「Image n」 구문은 샷(shot) 전반에 걸쳐 캐릭터의 정체성을 고정합니다.
대화는 15자 이하로 작성합니다 (더 길 경우 샷을 분할).
일본어 프롬프트가 가장 잘 작동합니다 (HappyHorse는 일본어에 최적화되어 있음).
항상 キャラの顔・髪・衣装が変わらない (얼굴/머리/의상이 변하지 않음)로 끝냅니다.

4. 품질 확인 (Quality Check)

완성도, 준수 여부, 비용 추정, 최적화 팁을 자동으로 검토합니다.

전 vs 후

차원 (Dimension)	직접 작성 시	Prompt Studio 사용 시
필요한 시도 횟수	사용 가능한 결과물 1개를 얻기 위해 10-20회	만족할 만한 결과를 위해 2-3회
...	...	...

솔직한 한계 (Honest Limitations)

첫 시도에 완벽함을 보장할 수 없음 (AI 비디오는 본질적인 무작위성 (randomness)을 가짐)
사용자의 창의성을 대체할 수 없음 (캐릭터 디자인은 여전히 사용자의 몫임)
생성당 최대 약 30초
API 키 필요 (무료 티어 사용 가능)
일본어 프롬프트가 가장 좋은 결과를 얻음; 중국어(CN)/영어(EN)도 작동하지만 일본어(JP)에 최적화되어 있음

설정 (Setup)

npx skills add modelstudioai/skills --skill happyhorse-prompt-studio -g

그 다음 AI 어시스턴트에게 다음과 같이 말하세요: "I want to make a video with HappyHorse"

조립된 프롬프트를 실행합니다:

bl video generate --image ./char.png --prompt "[assembled prompt]" --download output.mp4

링크 (Links)

오픈 소스 스킬 (Open-source Skill). 무료 티어 사용 가능. 결과는 모델의 무작위성 (randomness)에 따라 달라질 수 있음.

Insights