H3 + UVR + YuE2-3B = 뮤직 비디오
요약
H3, UVR, YuE2-3B 등의 모델을 조합하여 뮤직 비디오를 제작하는 과정을 공유합니다. 특히 MiniMax의 자체 방법을 활용해 BS-RoFormer YuE2 Musc Stock 8Bit 모델로 보컬을 분리하고 입모양 싱크에 적용한 것이 특징입니다.
핵심 포인트
- H3, UVR, YuE2-3B 조합으로 뮤직 비디오 제작 시도
- MiniMax의 자체 방법을 이용해 보컬 분리 및 lip sync 구현
- PDD Acc 8 step Lora Camera motion/Video 사용 (1152X640)
H3가 처음 나왔을 때도 비슷한 것을 시도해봤지만 불가능했어요. 커뮤니티가 함께 노력해서 가능하게 해주셔서 감사합니다! 이걸 만들면서 재미있었어요. PDD Acc 8 step Lora Camera motion Lora Video를 1152X640 (16:9) (표준 24 fps)로 사용했습니다. 일관성을 위해 MiniMax의 자체 방법을 사용하여 BS-RoFormer YuE2 Musc Stock 8Bit 모델을 분리하여 보컬을 입모양 싱크(lip sync)에 활용했습니다. /u/Delicious-Farmer-234가 제출한 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기