Fizgig LoRA Isolation: 더 강력한 LoRA를 위한 새로운 프로세스

Fizgig LoRA Isolation: 두 개의 개체(identity)를 하나의 LoRA로 학습시켜 다른 모든 사람들은 원래의 모습으로 유지하게 합니다. 일반적인 인물 LoRA는 그 사람의 얼굴을 그림 속 모든 사람들에게 퍼뜨립니다: 배경의 낯선 사람들, 옆에 있는 친구, 군중들. LoRA Isolation은 이를 막습니다. 피사체들이 한 장의 사진에 함께 서 있거나, 모델이 이미 알고 있는 누군가 옆에 있어도, 모든 얼굴은 각자의 모습을 유지합니다. 수치 비교 (Krea 2, 동일한 사진, 동일한 설정): 일반적인 LoRA를 사용했을 때, 50명의 낯선 사람 중 48명이 학습된 인물처럼 보이게 나왔습니다. LoRA Isolation을 사용했을 때는 50명 중 0명이 그러했습니다. 학습된 인물의 유사성(Likeness)은 동일하게 유지되었습니다 (ArcFace 0.78 vs 0.77). 데모 비디오: (위와 동일)

두 번째 사람을 LoRA에 포함하는 것이 보통 문제입니다. 여기서는 해결책의 일부입니다: 두 개의 개체를 함께 학습시키는 것이 LoRA에게 각 얼굴이 자신의 트리거(trigger)에 속한다는 것을 가르칩니다. 이들은 같은 성별일 필요가 없으며, 이렇게 하면 훌륭한 다중 캐릭터 LoRA를 얻을 수 있습니다. 데모에서 두 번째 사람은 여성이었고, 모든 낯선 사람들은 남성이었기 때문에, 격리(isolation)를 유지하기 위해 반드시 자신과 같은 성별일 필요는 없다는 것을 보여주었습니다 (솔직히 저에게는 놀라운 부분이었습니다).

작동 방식: DOP를 기반으로 하고, 그 위에 Fizgig의 자체 레이어들이 추가됩니다. DOP (Differential Output Preservation)는 Ostris의 AI-Toolkit Multi-subject identity anchoring 및 Fused-token class decoupling(gwelt가 남성으로서 gweltman으로 학습하는 경우)을 사용합니다. 프레임 내 부정 쌍 합성(In-frame negative-pair compositing)과 인과 순서 캡션(causal-order captions)(낯선 사람 먼저)을 사용합니다. 샘플별 LR 스케일링, 계단식 DOP 및 균형 잡힌 샘플링을 사용합니다. 사람, 동물, 사물에 대한 클래스 인식 학습 경로와 스타일을 활용합니다.

팁: 자신만 원하더라도 두 사람을 학습시키세요. 두 번째 얼굴은 낯선 사람들을 깨끗하게 유지하는 데 도움이 됩니다. 한 장의 사진에 두 명의 학습된 인물과 모델이 이미 알고 있는 누군가를 포함하면 잘 작동합니다. 세 명 이상의 학습된 인물이 한 장의 사진에 있는 것은 신뢰도가 떨어집니다. 단어 결합(joined word)으로 프롬프트를 작성하고 (예: gweltman man at a cafe), 다른 사람들을 묘사하세요.

나란히 배치된 학습 이미지는 자연스러운 피부 질감을 가진 32명의 생성된 낯선 사람을 사용하므로, LoRA가 낮은 피부 품질 쪽으로 끌어당겨지지 않으며 실제 인물의 사진은 사용되지 않습니다. 이 기능은 사용자 모델과 함께 다운로드됩니다. 모든 설정은 Training 탭의 하나의 카드에 되어 있으며, ACE-Step(음악 모델)을 제외한 Fizgig의 모든 모델에서 작동합니다. Krea 2에서 테스트되었으며, 더 많은 모델 테스트가 진행될 예정입니다. * 그리고 누군가 지적하기 전에 말씀드리자면, 완벽하지는 않다는 것을 알고 있지만 발전이라고 생각하며 제 github에 완전히 문서화되어 있고 오픈소스입니다. 개선하고 싶은 한 가지는 입술 유사성을 낮추는 것이지만, 아마도 이 기능을 사용하는 사람들에게서 아이디어가 나올 수 있을 것입니다. * 설정 방법 (비디오):

릴리스 노트: https://github.com/shootthesound/Fizgig/releases/tag/v8.4.0 Fizgig GitHub: https://github.com/shootthesound/Fizgig /u/shootthesound 제출 [링크] [댓글]