저는 LTX 2.3을 위한 LTX Director를 실험해 왔으며, 이 워크플로우(workflow)가 큰 잠재력을 가지고 있다고 생각합니다.
로컬 I2V (Image-to-Video)는 종종 "이 이미지 하나를 흔들리게 만들어라"라는 느낌을 줍니다. 즉, 동일한 각도에서 눈을 깜빡이거나 머리카락이 움직이는 정도의 작은 움직임만을 의미하곤 합니다. 하지만 LTX Director를 사용하면, 하나의 타임라인(timeline) 안에 동일한 캐릭터의 여러 이미지를 키 포즈(key poses)나 카메라 각도로 사용함으로써, 마치 샷 연출(shot direction)이나 아주 작은 뮤직비디오(MV) 편집기에 훨씬 더 가까운 느낌을 줍니다.
이번 테스트를 위해 저는 동일한 의상과 배경을 가진 동일 캐릭터의 소스 이미지 3장을 사용했지만, 포즈와 카메라 각도는 다르게 설정했습니다. LTX Director가 무엇을 바탕으로 작업했는지 확인할 수 있도록 원본 이미지 3장도 함께 포함했습니다.
또한 Custom Audio ON 기능을 사용하여 커스텀 K-pop 스타일의 오디오 트랙을 추가했습니다.
많은 튜닝(tuning) 끝에 다음과 같은 요소들을 처리할 수 있었습니다:
- 멀티 이미지 I2V (multi-image I2V)
- 부드러운 포즈 변화
- 포즈 사이의 카메라 및 얼굴 움직임
- 귀여운 퍼포먼스 제스처
- 커스텀 오디오 타이밍
- 사용 가능한 립싱크 (lip-sync)
아직 실험적인 단계입니다. 손 모양이 깨지거나, 정체성(identity)이 흐려질 수 있으며, 전환(transition) 시 세심한 프롬프팅(prompting)이 필요합니다. 하지만 입력 이미지가 동일한 캐릭터, 의상, 배경, 스타일로 일관성이 있다면, 일반적인 단일 이미지 I2V보다 훨씬 더 역동적으로 변합니다.
저에게 가장 유용했던 프롬프트(prompt) 아이디어는 이미지들을 별개의 사람들이 아닌, 동일한 캐릭터의 키 포즈로 취급하는 것이었습니다:
"모든 이미지를 서로 다른 포즈와 카메라 각도를 가진 동일한 캐릭터로 취급하세요. 전체 과정 동안 동일한 얼굴, 헤어스타일, 의상, 배경을 유지하세요. 하나의 연속적인 클로즈업 퍼포먼스로서 포즈 사이를 부드럽게 이동하세요. 커스텀 오디오 보컬에 맞춘 자연스러운 립싱크, 명확하게 보이는 입 움직임, 부드러운 눈 깜빡임, 가벼운 머리 기울임, 귀여운 제스처, 미세한 어깨 흔들림, 가벼운 머리카락 움직임."
여전히 더 많은 테스트가 필요하지만, LTX Director는 AI 아이돌 클립, 캐릭터 PV, 초현실적인 마스코트 영상, 짧은 뮤직비디오, 그리고 로컬 비디오 생성 시 하나 이상의 정적인 각도가 필요한 모든 분야에서 정말 유용할 수 있다고 생각합니다.