말하는 사람과 보여주는 것을 분리하기: AI 영상 UI 상태 설계 메모

이 글은 공개 페이지를 블랙박스로 읽고 작성한 설계 메모입니다. 내부 모델, 구현, API, 생성 품질, 처리 시간을 관측한 것은 아닙니다. 목적은, 말하는 아바타 영상과 상품 리빌(product reveal) 영상을 같은 '생성' 버튼 뒤에 숨기지 않고, 요구사항을 이야기하기 쉬운 상태로 분해하는 것입니다.

진입점이 다른 두 가지 작업

공개된 Nextify 페이지를 보면, Lip Sync는 선택한 액터에게 텍스트 또는 음성을 전달하여 입의 움직임이나 표정 타이밍을 맞추는 흐름입니다. 반면, Unboxing은 상품 이미지와 참고 영상 또는 템플릿을 기점으로 개봉, 하이라이트(見せ場), 판매 문구, 필요하다면 AI 액터를 구성합니다.

전자의 핵심은 '누가, 무엇을, 어떻게 말하는가'입니다. 후자는 '무엇을, 어떤 순서로, 어떤 시점에서 보여줄 것인가'입니다. 둘 다 영상을 출력하지만, 입력의 책임이 다릅니다. 이 둘을 섞으면, 음성을 수정하고 싶은 사람에게 상품 이미지 설정을 보여주거나, 상품 교체 재시도 과정에서 발화 설정까지 잃어버리게 됩니다.

제안하는 프로젝트형

아래는 구현의 추측이 아니라, 요구사항 논의를 위한 제안입니다.

type Project = {
intent: "talking_avatar" | "product_reveal";
actor: { source: "library" | "custom"; id: string } | null;
...

intent에 따라 필수 항목을 전환하는 것이 핵심입니다. talking_avatar라면 액터(actor)와 스피치(speech)가 최소 조건이 되고, product_reveal라면 상품(product)과 참고 자료(reference)가 최소 조건이 됩니다. AI 액터를 추가할 경우에도, 상품 자체의 확인과 발화의 확인을 별도의 검사로 남겨야 합니다.

상태 전이 제안

특히 중요한 것은 Error -> Ready입니다. 재시도 과정에서 원고, 음성, 상품 이미지, 참고 자료, 비율이 사라지면, 사용자는 생성 실패가 아니라 재입력 비용에 지치게 됩니다. 이력에는 부모 버전과 변경된 변수를 남기면, '액터만 바꾼 버전', '도입부 판매 문구만 바꾼 버전'을 비교할 수 있습니다.

공개 UI에서 만드는 테스트 관점

• TTS와 음성 업로드를 전환해도 선택 중인 액터가 유지되는지.
• 상품 이미지를 교체했을 때, 참고 영상과 판매 문구 입력이 의도치 않게 사라지지 않는지.
• 언어나 종횡비(aspect ratio)를 바꾼 후, 리뷰 화면에 설정이 표시되는지.
• 생성 실패 시, 수정 가능한 입력과 실패 이유가 구분되는지.
• 여러 변형본(variation)에 부모 입력과 변경점이 연결되는지.

경계를 명시하기

공개 페이지만으로는 입 모양의 정밀도, 상품의 세부 유지 여부, 레이턴시(latency), 성공률을 판단할 수 없습니다. 평가하려면, 음성, 액터, 상품 이미지, 참고 영상, 언어, 비율을 고정한 테스트 세트를 만들고, 동기화(synchronization), 주역 유지(main subject retention), 지시 준수(instruction compliance), 재시도성(re-try capability)을 개별적으로 채점해야 합니다.

이 분리가 가능하다면, AI Lip Sync Video Generator와 AI Unboxing Video Generator는 비슷한 출력을 만드는 기능이 아니라, 다른 의도를 안전하게 통과시키는 두 개의 워크플로우로 설계할 수 있습니다.

토론 (Discussion)