제 개인 AI 애니메이션 프로젝트인 Lost Garden에서 저는 한 장면이 필요했습니다. 기사가 문 쪽으로 몸을 돌리는 동안 카메라가 그를 따라 천천히 원을 그리며 회전하는 것이었죠. 저는 “카메라가 캐릭터 주위를 느리게 공전하며, 영화 같은, 역동적인 움직임”이라고 적고 생성했습니다. 그리고 다시 생성했어요. 스무 번째 버전이 되어서도 기사는 여전히 몸을 돌리지 않았고, 카메라는 원을 그리는 것 외에는 모든 것을 시도해봤습니다: 밀기(push), 채찍 패닝(whip pan), 심지어 완전히 반대 방향으로 회전하는 움직임까지요.
AI 비디오에서 일관되지 않은 카메라 움직임을 고치는 가장 빠른 방법은 더 나은 프롬프트가 아닙니다. 그것은 직접 촬영한 짧은 레퍼런스 클립을 모델에 모션 소스로 공급하는 것입니다. 움직임을 단어로 설명하는 대신 말이죠. 이것은 임시방편이 아닙니다. 2026년 중반까지는 이미 영화 제작자들이 사용하는 여러 도구에 내장 기능으로 탑재될 것이며, 이는 텍스트 프롬프트만으로는 해결할 수 없었던 문제를 해결해 줄 것입니다.
왜 상세한 프롬프트를 사용해도 AI 비디오의 카메라 움직임이 잘못 보일까요?
모델은 카메라를 시뮬레이션하는 것이 아닙니다. 모델은
프롬프트는 결과물을 설명하고 모델이 물리적 요소를 채우기를 기대합니다. 반면, 레퍼런스 비디오 자체가 바로 그 물리적 요소입니다. 즉, 카메라의 정확한 경로, 속도, 타이밍을 다른 모든 것에서 분리하여 모델에게 복사할 신호로 전달하는 것입니다.
이러한 구분은 이제 임시방편(workaround)이 아니라 명명된 기능(named feature)이 되었으며, 여러 도구들이 각기 다른 방식으로 이 문제를 해결하고 있습니다.
**Kling의 모션 컨트롤(Motion Control)**은 2026년 중반 Kling Video 2.6에서 출시되었으며, 캐릭터 이미지와 짧은 텍스트 프롬프트를 컨텍스트로 요구하는 세 가지 입력 요소 중 하나로 모션 레퍼런스 비디오를 사용합니다. Kling 자체 튜토리얼을 통해 확인된 바에 따르면, 이 기능을 이용해 해당 비디오의 카메라 및 신체 움직임을 생성된 샷에 전송합니다.
Kling AI's Motion Control feature page for Kling Video 2.6.
Higgsfield는 Cinema Studio를 통해 다른 경로를 택합니다. 레퍼런스 클립 대신, 생성 전에 카메라 동작, 조명, 렌즈를 명시적인 설정으로 고정(lock)합니다. 따라서 동일한 움직임에 대한 문구는 매번 실행할 때마다 동일한 물리적 결과를 만들어내며, Higgsfield 자체도 속도, 경로, 최종 위치가 명시되지 않은 프롬프트에 대해 이를 문서화했습니다.
Higgsfield's Cinema Studio documentation on controlling camera movement, angle, and lens.
반면 Runway는 여전히 카메라 방향을 레퍼런스 클립보다는 주로 텍스트와 전용 UI 슬라이더를 통해 처리합니다. 이는 자체적인 카메라 프롬프팅 가이드가 촬영 단계를 알려주기보다 영화 촬영 용어(cinematography vocabulary)를 가르치는 방식과 일치합니다.
Runway's AI camera prompts guide, dated August 2026.
레퍼런스를 찍어야 할 때와 프롬프트를 써야 할 때는 언제인가요?
모든 샷이 이 방식을 필요로 하는 것은 아닙니다. 말로 표현하기 정말 어려운 움직임에 아껴두세요:
- 프롬프트 작성: 고정된 샷(locked-off shot), 단순한 푸시인(push-in), 또는 대략적인 타이밍을 가진 팬(pan)의 경우. 비용이 적게 들고, 보통 첫 시도에 작동합니다.* 레퍼런스 촬영: 핸드헬드(handheld), 아크형(arced), 복합적(compound) 움직임이거나, 특정 비트에 맞춰야 하는 움직임, 또는 같은 장면에서 여러 샷에 걸쳐 동일하게 반복해야 하는 카메라 움직임의 경우.* 레퍼런스 촬영: 프롬프트만으로 만든 샷이 같은 이유로 연속 두 번 실패할 때. 동일한 움직임에 대한 재실행(reroll) 실패가 두 번이라는 것은 더 이상 재실행을 중단하고 촬영을 시작해야 한다는 신호입니다.
20세대 프롬프트가 1세대의 주사위 굴림보다 더 좋지는 않습니다. 만약 같은 부분의 프롬프트가 계속 실패한다면, 문제는 프롬프트 자체가 아닙니다.
Prompt versus reference: which camera moves need which approach.
실제로 사용 가능한 모션 레퍼런스를 촬영하는 방법은 무엇인가요?
세 가지가 중요하며, 이는 도구들이 입력을 작동시키기 위해 요구하는 방식에서 직접 나옵니다.
짧게 유지하세요. Kling 자체 사양에 따르면 사용 가능한 모션 레퍼런스는 3초에서 30초 사이이며, 목표 촬영 길이와 가까운 클립이 가장 깨끗하게 전송됩니다.시작 프레임을 일치시키세요. 휴대폰의 시작 각도를 생성하려는 샷의 첫 번째 프레임과 맞추세요. 이 정렬이 푸티지에 관한 다른 어떤 것보다도 모션이 얼마나 잘 전송될지를 결정합니다.프레임 안에 실제로 무엇이 있는지 무시하세요. 레퍼런스 비디오의 내용은 모션이 추출된 후 폐기되며, 카메라의 경로와 타이밍만 전달됩니다. 부엌에서 움직임을 촬영하여 왕좌의 방에 적용할 수 있습니다.
The four-step method for getting an AI video camera move right.
저의 작업 외 다른 제작 사례에서는 이것이 얼마나 많은 것을 절약하는지 숫자로 보여주었습니다. 단 하나의 카메라 움직임을 쫓아 50회 이상의 생성, 수백 크레딧, 그리고 한 시간 이상을 소모했던 크리에이터가 모션을 타이핑하는 대신 촬영하자마자 한 번에 성공했습니다. Lost Garden의 오빗 샷에서 저 자신의 휴대폰으로 움직임을 재촬영하여 레퍼런스로 제공했을 때, 저는 21세대가 아닌 다음 세대에서 사용 가능한 테이크를 얻었습니다.
이것이 생성하기 전에 샷을 계획하는 것을 대체하나요?
아닙니다. 그리고 이것이 바로 생성(generation) 이후가 아니라 그 이전 단계와 연결되는 부분입니다. 모션 레퍼런스(motion reference)는 이미 결정한 카메라 움직임을 고정시킵니다. 어떤 장면의 샷이 단순 정지 프레임(static frame)보다 이 움직임에 가치가 있는지 알려주지는 않으며, 잘못 추측하는 것은 절약하려던 시간과 똑같은 시간을 소모하게 만듭니다. 그 결정은 스토리보드(storyboard)에서 내려져야 하며, 단 하나의 생성 작업이 실행되기 전이어야 합니다. ScreenWeaver가 사전 제작 단계(pre-production) 동안 샷 리스트에 카메라 언어(camera language)를 잠그도록 하는 이유도 이 때문입니다. 레퍼런스 촬영을 대체하기 위함이 아니라, 무언가를 생성하기 전에 어떤 샷은 프롬프트로 충분히 간단하고 어떤 샷은 휴대폰으로 추가 2분을 들여 작업할 가치가 있는지 미리 알기 위해서입니다.
저는 frankhoubre.com에서 글을 쓰고 강의하며 이 주제를 다루는데, 주로 제 학생들의 프로젝트뿐만 아니라 저의 프로젝트에서도 제가 계속 부딪히는 것과 같은 프롬프트 대 카메라 장벽에 직면하기 때문입니다.
미니 FAQ
레퍼런스 영상이 최종 AI 비디오에 나타나나요?
아닙니다. 움직임(motion)은 추출되어 생성된 장면에 적용되며, 원본 영상은 폐기됩니다.
모션 레퍼런스 클립의 길이는 어느 정도여야 하나요?
3초에서 30초 사이가 적당하며, 생성하려는 샷의 길이에 최대한 가깝게 맞추는 것이 좋습니다.
모션 트랜스퍼(motion transfer) 기능이 프레임에 여러 캐릭터가 있을 때도 작동하나요?
아직은 안정적이지 않습니다. Kling의 현재 문서에는 모션 레퍼런스에 단일 캐릭터만 지정되어 있다고 명시되어 있으므로, 다중 캐릭터 배치는 여전히 프롬프팅과 수동 수정에 의존합니다.
레퍼런스를 촬영하기 위해 특별한 장비가 필요한가요?
아닙니다. 손에 들고 있는 휴대폰만으로 충분합니다. 카메라가 무엇을 향하고 있는지(pointed at)는 중요하지 않으며, 오직 움직이는 방식만이 중요합니다.
카메라 방향을 프롬프트에 넣지 않고 직접 제어하는 것은 작은 변화처럼 느껴집니다. 수십 개의 움직이는 샷으로 구성된 샷 리스트를 만들 때, 이는 오후 시간을 잃느냐 주간을 잃느냐의 차이입니다. 만약 아무것도 생성하기 전에 그 샷 리스트를 구축하고 있다면, ScreenWeaver의 스토리보드 단계는 여러분 자신의 스크립트에 대해 무료로 시도해 볼 수 있으며, Lost Garden은 제가 이 내용을 글쓰기 전에 테스트하는 곳입니다.
