Comfy에서 Minimax를 사용한 캐릭터 스왑 시연
요약
본 글은 ComfyUI 환경에서 Minimax LoRA를 활용하여 캐릭터 스왑(Character Swap)을 구현하는 과정을 다룹니다. 특히, 틱톡 등에서 유행하는 바이럴 댄스 영상을 기반으로 특정 인물을 다른 캐릭터로 대체하는 워크플로우를 소개합니다. 로컬 환경에서 작동하며, 비디오 프레임 속도와 샷별 작업의 중요성을 강조하고 있습니다.
핵심 포인트
- ComfyUI와 Minimax LoRA를 사용한 캐릭터 스왑 시연
- 기본 ref2va 템플릿 워크플로우에 LoRA 추가로 성능 향상
- 비디오 프레임 속도(24fps) 동기화가 매우 중요함
- 샷별 작업이 필요하며, 로컬 환경에서 구현 가능
저는 틱톡 전반에서 볼 수 있는 이 '겐쥬츠(Genjutsu) 스팸'(Higgsfield의 것)을 Comfy 내에서 Minimax로 구현할 수 있는지 알아보고 싶었습니다. (제가 이해하기로는 Claude와 Seedance 2.5를 조합한 것입니다.) 보통 사람들은 바이럴 틱톡 댄스를 추고 그 인물을 동물이나 다른 캐릭터로 대체하는 것을 많이 합니다. 저는 기본 ref2va 템플릿 워크플로우를 사용했지만, 이 LoRA를 추가했습니다: https://huggingface.co/akatz-ai/MiniMax-H3-Character-Swap-LoRA . 제 경험상으로는 제가 시도했던 다른 어떤 방법보다 성능을 더 정확하게 옮겨줍니다 (저는 Liveportrait 사용자 출신이라서요, 아휴). Seedance 수준은 아니지만, 그래도 이건 로컬에서 돌아갑니다. 저는 샷별로 작업했습니다. 여러 샷들은 정말 형편없게 작동했습니다. 이 샷들은 Minimax_h3_ref2v_turbo_8step LoRA를 사용하여 352x640 해상도와 8단계로 생성되었습니다. 평균 시간은 4090에서 샷당 250초였습니다. 먼저 기본 Qwen 2.1 편집 템플릿 워크플로우를 사용하여 결과물을 안내할 단일 프레임을 생성했습니다. 로드된 비디오가 24fps여야 한다는 것이 매우 중요합니다 (로더에서 이 프레임 속도를 강제할 수 있습니다). 그렇지 않으면 동기화가 맞지 않아 온갖 이상한 동작을 하게 됩니다. 참고로, 저는 틱톡이나 유튜브에서 비디오를 가져와 참조용으로 준비하고 작은 타임라인까지 포함하는 노드를 직접 만들었습니다. https://preview.redd.it/ui110h4x1ovh1.png?width=410&format=png&auto=webp&s=b8503fdba1b35441319c02689c6230f27da9a56e /u/r_panthon 님이 제출했습니다. [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기