당신에게는 하나의 이미지가 있습니다. 당신은 동일한 장면을 다른 각도에서 보고 싶어 합니다. 예를 들어, 측면이 아닌 선반을 정면으로 바라보는 식입니다. 새로운 각도에서 동일한 환경을 묘사하는 새로운 프롬프트 (prompt)를 입력하고 생성 (generate) 버튼을 누르면, 비슷하지만 틀린 장면이 돌아옵니다. 제품이 달라져 있거나, 선반 간격이 다르거나, 배경이 다시 관찰된 것이 아니라 명백히 새로 상상된 것처럼 보입니다.

이것은 AI 이미지 및 비디오 작업에서 가장 흔하면서도 가장 오해받는 실패 모드 (failure modes) 중 하나입니다. 왜 이런 일이 발생하는지, 그리고 실제로 작동하는 방법은 무엇인지 알아보겠습니다.

기본적으로 이것이 실패하는 이유

텍스트-투-이미지 (Text-to-image) 및 대부분의 이미지 편집 모델은 메모리에 당신의 장면을 위한 3D 모델을 보유하고 있지 않습니다. 당신이 "앞에서 본 동일한 선반"을 요청할 때, 모델은 기존의 3D 공간 주위로 카메라를 회전시키는 것이 아닙니다. 대신 당신의 텍스트 설명에 최대한 가깝게 일치하는 새로운 2D 이미지를 생성하는 것입니다. 당신이 명시적으로 고정하지 않은 모든 것(정확한 제품 위치, 정확한 간격, 정확한 조명 등)은 처음부터 다시 만들어집니다.

배경이 복잡하고 구체적일수록 — 식별 가능한 독특한 제품들로 가득 찬 선반은 가장 어려운 수준에 속합니다 — 이러한 현상은 더 두드러지게 나타납니다.

실제로 작동하는 두 가지 접근 방식이 있으며, 이들은 근본적으로 다른 방식으로 문제를 해결합니다.

접근 방식 1: 명시적인 일관성 지침을 포함한 목적 특화 이미지 편집 모델

일반적인 텍스트-투-이미지 재생성은 항상 디테일을 잃게 됩니다. 더 효과적인 방법은 시점 변경 (viewpoint changes)을 위해 특별히 구축된 이미지 편집 (image-editing) 모델을 사용하는 것이며, 모델이 추론하도록 맡기기보다는 보존해야 할 모든 요소를 명시하는 프롬프트를 결합하는 것입니다.

모호하게 "이것을 정면에서 보여줘"라고 말하는 것보다 눈에 띄게 더 잘 작동하는 프롬프트 구조는 다음과 같습니다:

카메라를 [대상 위치]로 이동시켜라
[피사체/초점]을 향하게 하라
[특정 명칭이 지정된 객체들]을 [그들의 위치]에서 일관되게 유지하라
...

이 방식이 일반적인 묘사형 프롬프트(descriptive prompt)와 어떻게 다른지 주목하십시오. 이 방식은 카메라 지시(camera instruction), 프레이밍 지시(framing instruction), 그리고 무엇보다 중요한 — 보존해야 할 정확한 객체들을 명시하는 명시적 일관성 지시(explicit consistency instruction)를 제공합니다. "모든 선반 위의 술병과 담배 갑을 일관되게 유지하라(Keep the liquor bottles and cigarette packets consistent on all the shelves)"라는 문구는, 실행하기에 너무 모호한 "배경을 동일하게 유지하라(keep the background the same)" 대신 모델이 붙잡을 수 있는 구체적인 대상을 제공합니다.

좋은 프롬프트를 사용하더라도 복잡한 배경에서는 거친 결과가 나올 수 있음을 예상하고, 수동으로 합성(composite)하거나 정리(clean up)할 계획을 세우십시오. 현재 어떤 도구도 이를 완벽하게 해결하지는 못합니다. 솔직한 기대치는 "완벽함"이 아니라 "더 가까워짐"이어야 합니다.

접근 방식 2: 이미지 문제가 아닌 비디오 문제로 재정의하기

이것은 덜 명백한 접근 방식이지만, 바로 이런 종류의 샷을 촬영할 때는 종종 더 신뢰할 수 있는 방식입니다.

단 한 번의 생성(generation)으로 카메라를 새로운 각도로 순간이동시키려 하는 대신, 이를 비디오 클립 내에서의 카메라 "움직임(movement)"으로 취급하십시오. 이는 이미지-투-비디오(image-to-video) 모델들이 실제로 구축된 목적이기도 합니다.

이를 수행하는 두 가지 방법은 다음과 같습니다:

위치로의 움직임(Motion into position). 피사체가 목표 프레이밍을 향해 움직이도록 애니메이션화하십시오 (예를 들어 카운터로 걸어가는 동작). 그런 다음 피사체가 도착할 때 샷이 어깨 너머 각도(over-the-shoulder angle)로 전환되도록 지시하십시오. 당신은 모델에게 정지된 장면의 새로운 각도를 발명하라고 요구하는 것이 아니라, 당신이 원하는 지점에서 끝나는 자연스러운 카메라 움직임을 애니메이션화하도록 요구하는 것입니다. 해당 클립의 마지막 프레임이 당신이 원하는 새로운 각도의 이미지가 됩니다.

시작/종료 프레임 보간(Start/end frame interpolation). 만약 이미 목표 각도의 거친 버전(접근 방식 1을 통해 얻은 불완전한 버전이라도)을 가지고 있다면, 원본 이미지를 시작 프레임(start frame)으로, 거친 목표 이미지를 종료 프레임(end frame)으로 사용하고 이미지-투-비디오 모델이 그 사이의 전환(transition)을 생성하게 하십시오. 모델은 두 지점을 연결하는 그럴듯한 카메라 움직임을 채워 넣으며, 이는 종종 양 끝점 중 어느 하나만 있을 때보다 더 일관성 있게 보입니다. 그 후 중간 과정에서 깨끗한 프레임을 추출하여 최종 이미지로 사용할 수 있습니다.

이 두 가지 방법 모두 기반이 되는 비디오 프롬프트 (video prompt)가 탄탄할 때만 작동합니다. 모호한 "새로운 각도로 전환 (cut to a new angle)"과 같은 지시어는 모호한 이미지 프롬프트가 실패하는 것과 똑같은 방식으로 실패하며, 다만 이미지 크레딧 (image credits) 대신 비디오 크레딧 (video credits)이 소모될 뿐입니다.

만약 Kling에서 카메라 움직임 프롬프트가 계속 실패한다면, 먼저 왜 Kling 프롬프트가 계속 실패하는지를 확인하세요.

크레딧을 사용하기 전에

비디오 방식 (Approach 2)을 선택한다면, 생성하기 전에 카메라 움직임 프롬프트를 평가하세요. 당신이 설명하는 움직임이 단순히 읽기에만 괜찮은 것이 아니라, 사용 중인 특정 도구가 실제로 잘 실행할 수 있는 것인지 확인해야 합니다.

먼저 Dry Run을 통해 실행해 보세요. 이 서비스는 프롬프트를 6가지 차원에서 점수화하며, 비싼 비용을 치르기 전에 당신의 도구가 실수할 가능성이 높은 카메라 움직임을 미리 알려줍니다.