One .char 모델로 일관된 얼굴, 몸체 및 의상 구현하기: Minimax H3

여러분,

이전 스틸 이미지에 대한 게시물을 바탕으로, 같은 .char 모델을 Minimax H3에 적용해 보았습니다.
저는 참조(reference)를 포함하고, 얼굴, 몸체, 의상을 둘러싼 프롬프트를 인코딩하는 캐릭터 모델 sia.char를 만들었습니다. 자세한 내용은 이전 게시물을 확인해주세요.

작동 방식은 다음과 같습니다?

• .Char 빌드: 최대 9개의 참조 이미지를 드롭할 수 있습니다. 저는 보통 비율을 2:2:1(얼굴:의상:몸체)로 사용합니다. YuNet이 얼굴을 찾고, SFace가 각 참조 이미지별 얼굴 시그니처를 가져오며, DINOv2가 피사체 시그니처를 가져옵니다. 그리고 이 참조 이미지들이 정리되고 정규화됩니다. 이 모든 것이 단일 휴대용 파일인 .char에 패키징됩니다.
  얼굴/참조만 필요하며 몸체 및 의상 링크는 선택 사항입니다.
• 생성: 생성 단계에서, 파일(.char)은 자체 네이티브 멀티 참조 채널(multi-reference channel)로 참조를 전달하고 프롬프트 앞에 잠금 설명(locked description)을 추가합니다.

프롬프팅 가이드

캐릭터 이름 지정하기: 캐릭터에 이름을 부여하세요. 예를 들어, 'encode character'에서 캐릭터를 인코딩할 때 (노드의 하단에 있는 조정 아이콘 클릭), 저는 이름으로 sia를 사용했습니다. 따라서 프롬프트를 전달할 때 단순히 'sia가 해변을 걷는다'라고만 말하면 됩니다.
다시 한번 강조하지만, '한 여성'과 같은 일반적인 설명이나 검은 머리 등 특정 특징을 자세히 설명하는 것은 생성에 혼란을 줄 수 있습니다.

캐릭터 특징 설명하기: 모든 캐릭터 특징은 'encode character' 프롬프트에 인코딩하고, 생성 프롬프트에서 이름으로 캐릭터를 트리거하세요. 생성 프롬프트에서 같은 내용을 다시 설명하는 것을 피하세요.

캐릭터 드리프트 처리하기: 예를 들어 특정 스타일이나 의상(예: 반팔, 민소매)을 원한다면, 이를 생성 프롬프트에 추가하세요. 몸체 샷에도 의상이 포함되어 있기 때문에 옷차림 참조와 간섭이 생겨 약간의 드리프트가 발생할 수 있습니다. 각 참조는 고유해야 하며, 얼굴에 몸체가 있거나 그 반대인 경우도 마찬가지입니다. 의상에도 동일하게 적용됩니다.

휴대성: 캐릭터를 한 번 빌드하면, 간단한 프롬프트와 생성 그래프만으로 같은 캐릭터를 사용할 수 있습니다.

저는 Flux Klein 9b로 얼굴을 생성했고, 의상 사진은 Zara 웹사이트에서 가져왔습니다.
참고: 최상의 결과를 얻으려면 잘라낸(cropped) 레퍼런스를 전달하여 모델이 필요한 장면을 포착하도록 하십시오. 만약 옷 슬롯에 얼굴이 있거나 얼굴 슬롯에 옷이 있으면 모델이 혼란스러워합니다.
필수 사항
Nvidia GPU: 24GB 이상의 VRAM 및 64 GB RAM (로컬 실행)
워크플로우:
Flux 2 Klein(정지 이미지), Minimax H3(영상)
참고: Minimax H3는 현재 int8 모델 변형도 지원합니다.
Github Repo: https://github.com/omnichar/OmniChar (GPLV3, 오픈소스)
입력물: Flux2 워크플로우 페이지에 첨부되어 있습니다.
제한 사항: 레퍼런스 충돌(Reference conflicts)의 예시로, 두 개의 레퍼런스/입력 이미지가 서로 다른 얼굴을 가지고 있다면 생성 과정에서 충돌이 발생할 수 있으니, 잘라낸 몸체 및 의상 이미지를 제공하십시오. 얼굴 이미지는 Sface에 의해 자동으로 교차됩니다.
어떤 제안이나 피드백이라도 기꺼이 듣겠습니다.
제출자: /u/ashishsanu
[링크] [댓글]