H3 t2v는 ref2va/fl2va나 RefMod에 비해 정말 보기 좋게 나왔습니다. 그래서 저는 8개의 Z-Image Turbo 스틸컷, 커스텀 ElevenLabs 음성, 그리고 그녀가 말하는 짧은 클립 14개(Z-Image 레퍼런스를 사용한 5개의 Seedance 생성물에서 가져옴)를 사용하여 오리지널 캐릭터의 LoRA를 만들려고 시도했습니다. 왼쪽은 RefMod를 적용한 H3 (사진 및 음성 샘플). 오른쪽은 동일한 seed에 LoRA를 0.8로 적용하고 DLSS 5를 거친 결과입니다. RefMod는 그녀의 얼굴을 일관되게 유지하지만, 모든 것이 약간 너무 세련되어 보입니다. LoRA를 사용하니 t2v 품질에 더 가까워 보였습니다.
저는 Fizgig에서 헤드리스(headless)로 랭크 16, Automagic v3, Circlestone adapter, EMA 0.98, 40 에포크(3,520 스텝)를 실행하여 가지치기된 int8 fl2va 모델에 그녀를 학습시켰습니다. 데이터셋은 이미지와 얼굴 크롭, 17n+5 프레임 그리드로 잘린 14개 클립, 그리고 정확한 그리드 길이로 자른 45개의 음성 클립이었습니다. 학습에는 임대한 H200에서 41분이 걸렸습니다 (무료 Modal 크레딧 사용). RTX 3090으로 렌더링을 진행했습니다: DMAD 4-step LoRA를 사용하여 864x480 해상도, 8 스텝으로 처리한 후, 2 MP로 3D 잠재 공간 업스케일(latent upscale)하고, 0.4 디노이즈로 2단계 정제(refine)한 다음, 0.8 강도로 DLSS 5를 적용했습니다. 8초 클립 하나에 약 4.5분이 걸렸고, 두 번째 카드(5060 Ti)에서 DLSS 처리하는 데 15초가 추가로 소요되었습니다.
제가 알아낸 몇 가지 사항들이 있습니다: LoRA를 0.8로 설정하는 것이 가장 적절한 지점입니다. 1.0으로 하면 너무 많은 파운데이션을 바른 것처럼 보였습니다. 프롬프트에
워크플로우(API 형식, 캔버스에 드래그): H3 + LoRA, H3 + LoRA + RefMods on ref2va, DLSS 5, 그리고 두 RefMod 빌더: https://drive.google.com/drive/folders/1T-ELnDiOQ2pOJOVaaL_MvyfXcmeUdXeK?usp=sharing shootthesound (Fizgig)용 프롭스, Luisacaotica (RefMod 노드), Blueforcer 및 Merserk (DLSS 5 Enhancer), ZhengmingYu 및 Kijai (DMAD), 그리고 circlestone-labs (훈련 어댑터). /u/DeliciousGorilla 제출 [링크] [댓글]