FaceSwap MiniMax H3 LoRA: 얼굴 교체를 위한 실용 가이드

개요

FaceSwap_MiniMaxH3_REF2VA는 MiniMax H3의 ref2va (reference-to-video) 모델을 위한 LoRA 어댑터입니다. UntMods가 제작했으며, 이 어댑터는 참조 비디오(reference video)에 있는 얼굴 정체성을 하나 이상의 참조 얼굴(reference face)의 정체성으로 대체하는 역할을 합니다. 동시에 기본 모델이 제공하는 비디오 생성 워크플로우를 유지합니다. 이 어댑터는 Faceswap이라는 하나의 트리거 단어(trigger word)를 사용하며, README에는 LoRA 강도(LoRA strength)가 1로 지정되어 있습니다. 가장 중요한 요구 사항은 호환성입니다. MiniMax H3 워크플로우와 MH3 형식을 따르는 입력 비디오가 필요합니다. 제공된 워크플로우는 CRT-Nodes를 사용하지만, 유지 관리자는 사용자 자신의 워크플로우를 사용할 수 있다고 명시했습니다. 제공된 자료에는 기본 모델의 파라미터 개수(parameter count), 출력 해상도(output resolution), 컨텍스트 창(context window), 학습 데이터셋(training dataset), 학습 단계(training steps), GPU 메모리 요구 사항(GPU memory requirement), 추론 시간(inference time), 또는 배치 크기(batch-size)에 대한 지침이 명시되어 있지 않아, 해당 값들은 이 어댑터에 대해 확인할 수 없습니다.

최적 사용 사례

참조 비디오 생성에서의 정체성 대체. 소스 비디오가 있고 보이는 얼굴 정체성을 하나 이상의 참조 얼굴과 일치하도록 변경하고 싶을 때 이 어댑터를 사용합니다. LoRA는 일반적인 비디오 외모(video appearance)가 아닌 이 작업 자체를 목표로 하므로, 원본 모션과 장면 구조를 유지하면서 짧은 생성 클립에서 연기자의 얼굴을 교체하는 워크플로우에 적합합니다.

다중 참조 얼굴 정체성 전송. 설명에 따르면 참조 비디오의 정체성은 “Reference(s)” 정체성을 통해 변경될 수 있습니다. 이로 인해 이 어댑터는 하나 이상의 참조 얼굴를 제공하는 워크플로우에 적합하지만, README에는 최대 참조 개수나 참조 이미지를 어떻게 선택해야 하는지에 대한 설명은 없습니다.

MiniMax H3 기반 ComfyUI 실험. 유지 관리자는 CRT-Nodes로 구축된 워크플로우를 공유하며 사용자 자신의 워크플로우 사용을 허가합니다. 이는 노드 기반 비디오 파이프라인 내에서 이미 MiniMax H3를 운영하고 있으며, 새로운 모델을 학습시키지 않고 집중적인 얼굴 교체 어댑터를 추가하려는 개발자에게 적합합니다.

오버헤드가 적은 LoRA 배포. 이 어댑터는 설정된 임계값보다 낮은 블록에서 가지치기(pruned)되었습니다. 설명에 따르면, 이는 무게를 줄이고 LoRA 아티팩트를 감소시키면서도 학습된 기본 모델과 동일한 강도를 유지하게 합니다. 따라서 저장소에서 파일 크기나 벤치마크 측정치를 제공하지는 않지만, 더 작고 깔끔한 결과를 원하는 사용자에게 적합할 수 있습니다.

제한 사항

이 어댑터는 MiniMax H3의 ref2va 모델만을 대상으로 합니다. README에는 다른 기본 모델과의 호환성을 확인해 주지 않았으며, fl2va 또는 기타 MiniMax H3 변형에 대한 지원도 문서화되어 있지 않습니다. 따라서 다른 구성을 검증하기 전까지는 요구되는 기본 모델과 워크플로우 조합을 엄격하게 다루어야 합니다.

모델 카드에는 정량적인 품질 평가가 제공되지 않습니다. 예시 비디오를 포함하고 있지만, 아이덴티티 유사성 점수(identity-similarity scores), 시간적 일관성 점수(temporal-consistency scores), 얼굴 해상도 제한, 실패율 또는 다른 페이스 스왑 시스템과의 비교 결과를 보고하지는 않습니다. 이러한 예시는 프로필 얼굴, 가려짐(occlusion), 빠른 움직임, 다중 인물, 특이한 조명, 표정 변화 또는 저품질 소스 푸티지 전반에 걸친 성능을 입증할 수 없습니다.

README에 따르면 이 어댑터는 트리거 단어(Faceswap)와 LoRA 강도 1을 필요로 합니다. 문서에는 테스트된 강도 범위가 설명되어 있지 않으므로, 강도를 변경하면 아이덴티티 전이가 감소하거나 아티팩트가 발생할 수 있습니다. 유지 관리자는 가지치기가 LoRA 아티팩트를 줄인다고 주장하지만, 이를 뒷받침하는 수치적 비교는 없습니다.

이 워크플로우는 CRT-Nodes에 의존하며, 입력 비디오는 MH3 형식을 준수해야 합니다. README에는 해당 형식을 정의하거나, 필요한 해상도(dimensions)를 나열하거나, 프레임 속도 제약 조건(frame-rate constraints)을 명시하거나, 지원되는 코덱(supported codecs)을 식별하거나, 전처리 명령어(preprocessing commands)를 제공하지 않습니다. 이러한 세부 정보는 기본 MiniMax H3 워크플로우에서 얻거나 공유된 워크플로우를 검사해야 합니다.

VRAM 요구 사항, 추론 속도, 해상도, 컨텍스트 길이, 파라미터 수, 양자화 옵션 또는 배치 크기 권장 사항이 제공되지 않습니다. 따라서 하드웨어 계획 및 처리량 추정은 선택된 MiniMax H3 구현을 통해 테스트해야 합니다.

해당 저장소는 어댑터가 동의(consent), 사칭(impersonation), 생체 인식 개인 정보 보호 또는 기만적 미디어에 대한 안전장치를 갖추고 있는지 명시하고 있지 않습니다. 얼굴 교체는 오해를 불러일으키거나 비동의 콘텐츠를 생성할 수 있습니다. 참조 얼굴과 소스 비디오는 허가를 받고 사용하고, 적절한 경우 합성 미디어를 표시하며, 관련 법률 및 플랫폼 규칙을 검토하십시오.

이 모델은 Apache-2.0 라이선스를 따릅니다. 이 라이선스는 일반적으로 그 조건에 따라 상업적 사용, 수정 및 재배포를 허용하지만, 해당 어댑터의 라이선스가 얼굴, 비디오, 기본 모델, 훈련 데이터 또는 생성된 콘텐츠에 대한 권리를 해결하는 것은 아닙니다. 상업 배포 전에 전체 라이선스와 모든 종속성(dependency)의 조건을 검토하십시오.

비교 방법

h3/reference-to-video/lora

중심 작업이 참조 비디오 내에서 얼굴 신원을 변경하는 것이고 전용 트리거 단어인 Faceswap를 원할 경우 FaceSwap_MiniMaxH3_REF2VA를 선택하십시오. 이 단어는 강도(strength)가 1로 문서화되어 있습니다. MiniMax H3 참조-대-비디오 생성과 얼굴 교체 전용 어댑터 대신 동기화된 오디오가 필요할 때는 h3/reference-to-video/lora를 선택하십시오. 핵심적인 트레이드오프는 전문화입니다: 이 어댑터는 신원 대체에 초점을 맞추는 반면, 대안은 오디오 동기화가 있는 더 광범위한 참조-대-비디오 시스템으로 설명됩니다.

Minimax-H3-ComfyUI

이미 MiniMax H3 ref2va 파이프라인을 가지고 있고 집중적인 얼굴 신원 변환이 필요한 경우 FaceSwap_MiniMaxH3_REF2VA를 선택하십시오. 더 광범위한 ComfyUI LoRA 저장소와 함께 워크플로우, 저장소 구조 및 MiniMax H3용 예제가 필요한 경우에는 Minimax-H3-ComfyUI를 선택하십시오. 해당 문서에 따르면 LoRA는 주로 ref2va와 fl2va로 테스트되었습니다.

또한 작동할 수도 있지만 테스트가 덜 된 옵션입니다. 대안은 더 광범위한 워크플로우와 LoRA 커버리지를 제공하는 반면, 이 어댑터는 특정 얼굴 교체 동작을 제공합니다.

MiniMax-H3-Realism-People-LoRA

신원 대체(identity replacement)가 필요한 작업일 때는 FaceSwap_MiniMaxH3_REF2VA를 선택하십시오. 미니맥스 H3-리얼리즘-피플-LoRA는 클로즈업 얼굴, 자연스러운 피부 질감, 믿을 만한 표정 및 제스처, 영화 스타일 조명, 다큐멘터리 카메라 움직임을 포함하여 사실적인 사람 렌더링이 우선순위일 때 선택하십시오. 이 LoRA의 트리거 단어는 r34l1sm이며, 이는 여기에 설명된 명시적인 얼굴-신원 대체보다는 리얼리즘에 초점을 맞춥니다. 사용 가능한 정보에는 두 어댑터 모두에 대한 속도, 비용 또는 품질 벤치마크가 제공되지 않습니다.

ltx-2.3-22b/reference-video-to-video/lora

파이프라인에서 이미 MiniMax H3를 사용하고 작업이 얼굴 교체인 경우 FaceSwap_MiniMaxH3_REF2VA를 선택하십시오. LTX-2.3을 사용하여 오디오와 함께 레퍼런스 비디오 대 비디오(reference-video-to-video) 생성이 필요하고 사용자 지정 LoRA 지원이 필요한 경우에는 ltx-2.3-22b/reference-video-to-video/lora를 선택하십시오. 이 시스템들은 서로 다른 기본 모델 에코시스템을 사용하며, 제공된 정보는 속도, 비용 또는 출력 품질의 우위를 확립하지 않습니다.

LTX-Best-Face-ID

MiniMax H3 워크플로우 내에서 기존 레퍼런스 비디오를 변환해야 할 때는 FaceSwap_MiniMaxH3_REF2VA를 선택하십시오. LTX-2.3 22B를 사용하여 사람의 레퍼런스 사진과 텍스트 프롬프트를 이용해 신원을 보존하는(identity-preserving) 레퍼런스 대 비디오 생성을 원할 때는 LTX-Best-Face-ID를 선택하십시오. 해당 모델은 오버랩 레퍼런스 컨디셔닝(overlap reference conditioning), TASS-RoPE, 그리고 미분 가능한 ArcFace 신원 손실(differentiable ArcFace identity loss)을 사용하며, 반면 이 어댑터의 문서는 가지치기된 MiniMax H3 LoRA만을 명시합니다. 대안은 더 명시적인 신원 보존 설계를 가지고 있지만, MiniMax H3가 아닌 LTX-2.3 에코시스템이 필요합니다.

이 분야와 관련된 연구로는 ID-LoRA: Identity-Driven Audio-Video Personalization과 Video2LoRA 및 LoRA-Edit에 대한 작업이 포함됩니다. 이 논문들은 신원 개인화(identity personalization)와 제어 가능한 비디오 적응(controllable video adaptation)의 맥락을 제공하지만, 제공된 정보는 이 어댑터가 그들의 어떤 방법론도 구현한다는 것을 보여주지 않습니다.

기술 사양 (Technical specifications)

확인된 기술적 세부 사항은 다음과 같습니다:

모델 유형: LoRA 어댑터.

기반 모델 (Base model): MiniMax H3ref2va

.

작업 (Task): 참조 비디오의 신원 얼굴을 하나 이상의 참조 입력에 있는 신원으로 변경합니다.

트리거 단어 (Trigger word): Faceswap

.

문서화된 LoRA 강도 (Documented LoRA strength): 1

.

가지치기 (Pruning): 설정된 임계값(threshold) 미만의 블록이 가지치기되었습니다.

주장되는 가지치기 효과: 가중치 감소, LoRA 아티팩트 감소 및 훈련 기반과 동일한 강도입니다.

워크플로우 (Workflow): 유지 관리자(maintainer)가 워크플로우를 공유합니다.

워크플로우 노드 (Workflow nodes): CRT-Nodes.

대체 워크플로우 지원: 유지 관리자는 사용자가 자체 워크플로우를 사용할 수 있다고 말합니다.

입력 제약 조건 (Input constraint): 입력 비디오는 MH3 형식을 준수해야 합니다.

예시 (Examples): 저장소에는 Faceswap_00120.mp4, Faceswap_00114.mp4, Faceswap_00058.mp4, Faceswap_00109.mp4, Faceswap_00107.mp4, Faceswap_00039.mp4, Faceswap_00040.mp4, 그리고 Faceswap_00013.mp4라는 이름의 MP4 예시가 포함되어 있습니다.

라이선스 (License): Apache-2.0.

태그 (Tags): Video-to-Video.

제공된 README에는 LoRA 파일명, 파일 형식, 파일 크기, 기반 모델 파라미터 수, 어댑터 랭크, 대상 모듈, 가지치기 임계값 값, 훈련 데이터셋, 훈련 단계, 최적화 도구(optimizer), 학습률(learning rate), 해상도, 프레임 수, 컨텍스트 창(context window), 양자화(quantization), VRAM 요구 사항, 추론 속도 또는 지원되는 배치 크기 등이 명시되어 있지 않습니다.

모델 입력 및 출력 (Model inputs and outputs)

입력 (Inputs)

• MiniMax H3 형식과 호환되는 참조 비디오.

• 하나 이상의 참조 얼굴 신원(identity).

• 트리거 단어 Faceswap

.

• MiniMax H3 ref2va 기반 모델.

• CRT-Nodes를 사용한 워크플로우 또는 호환 가능한 사용자 지정 워크플로우.

• LoRA 강도 1

README에 명시된 대로.

출력물 (Outputs)

• 참조 비디오의 얼굴 정체성을 제공된 참조 정체성 또는 여러 정체성으로 변경한 비디오.

• MP4는 리포지토리 예제 출력물에 사용되는 형식입니다.

• README에는 출력 해상도, 프레임 속도, 오디오 동작, 코덱 설정 또는 필수 후처리 과정이 명시되어 있지 않습니다.

시작하기 (Getting started)

제공된 자료에는 모델 파일명, ComfyUI API 요청, Python 로딩 코드 또는 추론 호출이 포함되어 있지 않습니다. 구현 세부 사항을 임의로 만들지 않고는 검증 가능한 복사 붙여넣기(copy-pasteable) Python 예제를 제공할 수 없습니다. 공유된 CRT-Nodes 워크플로우를 사용하고 MiniMax H3 ref2va 기본 모델을 로드한 후, 이 LoRA를 연결하고 LoRA 강도를 1로 설정하며, 트리거 단어(trigger word)로 Faceswap을 포함하고 입력 비디오가 MH3 형식을 따르도록 해야 합니다.

자주 묻는 질문 (Frequently asked questions)

질문: FaceSwap_MiniMaxH3_REF2VA는 어떤 기본 모델을 필요로 하나요?

답변: MiniMax H3 ref2va 모델용으로 설계되었습니다. 문서에는 다른 기본 모델과의 호환성을 확인해주지 않습니다.

질문: 어떤 트리거 단어와 LoRA 강도를 사용해야 하나요?

답변: 유지 관리자(maintainer)가 명시한 대로 단일 트리거 단어 Faceswap과 LoRA 강도 1을 사용하세요.

질문: 어댑터는 어떤 입력 비디오 형식을 기대하나요?

답변: 입력 비디오는 MH3 형식을 준수해야 합니다. README에는 해당 형식의 해상도, 코덱, 프레임 속도 또는 프레임 개수 요구 사항이 정의되어 있지 않습니다.

질문: CRT-Nodes가 필요한가요?

답변: 공유된 워크플로우는 CRT-Nodes를 사용합니다. 유지 관리자는 자체 워크플로우를 사용할 수 있다고 말하지만, MiniMax H3 설정과 어댑터의 필수 입력물을 지원해야 합니다.

질문: 이 모델을 상업적으로 사용할 수 있나요?

답변: 해당 어댑터는 Apache-2.0 하에 출시되었으며, 라이선스 약관에 따라 상업적 사용이 가능합니다. 또한 기본 모델, 종속성(dependencies), 소스 비디오, 참조 얼굴 및 생성된 콘텐츠에 대한 권리와 약관을 직접 확인해야 합니다.

질문: 얼마나 많은 VRAM이 필요하며, 추론 속도는 어떤가요?

A: README에는 VRAM 요구 사항, 추론 시간 측정치, 처리량 수치 또는 배치 크기 지침이 제공되지 않습니다. 대상 하드웨어에서 전체 MiniMax H3 워크플로우를 벤치마킹해야 합니다.

질문: 이 어댑터를 파인튜닝할 수 있나요?

A: 제공된 문서에는 파인튜닝 절차, 학습 코드, 데이터셋, 옵티마이저 또는 프레임워크가 설명되어 있지 않습니다. 해당 아티팩트를 LoRA로 식별하고 가지치기(pruned)되었다고 명시하지만, 재현 가능한 학습 환경을 위한 충분한 정보를 제공하지는 않습니다.

질문: 어떤 품질 문제를 테스트해야 하나요?

A: 프로필 뷰, 가려짐(occlusion), 빠른 움직임, 여러 얼굴, 강한 조명 변화 및 안면 표정 동안의 정체성 유지(identity retention)를 테스트해야 합니다. 모델 카드에는 예시가 제공되지만, 정량적인 실패 분석이나 품질 벤치마크는 없습니다.

질문: 이 모델은 활발하게 관리되고 있나요?