성능 전이를 위한 H3 비디오 레퍼런스

어제 이것을 게시했습니다. 그리고 u/roychodraws (빨간색 광대 여성)가 성능 전이(performance transfer)를 사용해 시도해 보라고 언급했습니다. 저는 이 결과를 공유하고 싶습니다. 왜냐하면 이게 꽤 큰 차이를 만들고 캐릭터의 연기력을 향상시키려는 누구에게나 유용할 수 있다고 생각하기 때문입니다.

프롬프트의 대부분은 리텐션 분석(retention analysis)과 주체 정의(subject definition)에 있습니다. 이 두 가지는 비디오 성능 전이에서 관심 영역입니다. 이번 전이에서는 <video 1>에 대한 레퍼런스를 지정하지 않고 그냥 입력했습니다. 하지만 캐릭터(s1)의 목소리 음색으로는 <audio 1> (비디오 소스에서 가져온 오디오)를 참조했습니다. <video 1>을 언급하여 한 단계 더 나아갈 수 있지만, 그러면 훨씬 더 많이 수정해야 할 것이며 비디오 속 캐릭터가 전이될 위험을 감수하게 됩니다.

비디오들은 같은 시드(seed)로 제작되었습니다.
EDIT: 실제 배우들에게 박수를 보냅니다. AI는 아직 그 근처에도 못 왔습니다.

프롬프트
subject_definitions:
<actress>는 <picture 1>에서 가져온 외모를 가졌고, <audio 1>에서 가져온 목소리 음색을 가진 긴 검은 머리의 젊은 여성(s1)입니다.
<scene>은 <picture 2>에서 가져온 외모의 지붕 위입니다.
<outfit>은 <Picture 3>에서 가져온 흰 셔츠와 빨간 치마입니다.
summary:
[reference generation] 타겟 비디오는 감성적인 독백을 하는 여성을 보여줍니다.
retention_analysis:
visible: 부분적으로 보존된 <picture 2>
audio: 부분적으로 보존된 <audio 1>
detailed_description:
cinematic shot, shallow depth of field
[Shot 1] reference <scene>, 밤에,
medium shot으로
<outfit>을 입은 <actress>가 비를 맞으며 서 있고, 온몸이 젖고 있습니다.
그녀는 시청자를 바라보고 있으며, 시선은 전방 왼쪽의 키 큰 남성을 향하고 있습니다.
믿기지 않는 웃음이 계속해서 울음으로 무너집니다. 그녀의 얼굴은 감정적인 미세 표정(micro expressions)들로 가득 차 있습니다.
(s1), 뉴질랜드 억양과 밝고 청아하지만 자꾸 갈라지는 목소리를 가진 젊은 여성:
<d>[English] You know what's funny?</d>
그녀는 짧고 떨리는 웃음을 터뜨리며 고개를 젓습니다.

그녀는 실제로 이 연설 전체를 계획했어. 샤워하면서, 차 안에서. 모든 걸 다 준비했었지... 모든 게 완벽하게 짜여 있었단 말이야.
그녀의 웃음은 흐느낌으로 바뀝니다. 그녀는 손목 뒤쪽을 눈에 갖다 댑니다.
그리고 지금 당신이 거기 서 있는데, 단 하나의— 단어 하나도 기억나질 않아.
그녀는 눈물을 닦아내고, 비가 머리 위로 더 많이 내리는 와중에 웃음과 울음을 동시에 터뜨립니다.
카메라가 천천히 클로즈업합니다.
그리고 바보 같은 건, 난 이걸 다시 할 거야.