안녕하세요!

네, 사실입니다.

이 주제에 관심을 갖게 되어, 이를 구현하는 두 가지 방법을 찾아냈습니다.

제가 직접 찾은 것부터 시작하겠습니다:

1. 분할 화면(Split screen) 및 Anima-lllite-inpainting:

이 방법은 제가 "Consistency characters" 워크플로우에서 SDXL을 위해 사용했던 방식과 유사합니다. 인페인트 (inpaint)를 사용하여 생성된 이미지 옆에 참조 이미지를 추가하는 방식입니다. IC-Loras와 SDXL의 숨겨진 잠재력에 관한 포스트에서 영감을 받았습니다.
하지만 "anima-lllite-inpainting-v2" 컨트롤넷 (controlnet)이라는 추가적인 마법 없이는 작동하지 않습니다.

여전히 약간 불안정하며 전혀 작동하지 않을 수도 있습니다. 하지만 스포일러를 하자면 - 이 방법이 옷이나 얼굴 표정을 바꿀 수 있을 뿐만 아니라 포즈 (pose)를 완전히 바꿀 수 있게 해주는 가장 적응력이 높은 방법입니다.

변화가 많을수록 캐릭터의 디테일은 적게 남게 됩니다.

2. Cosmos Reference Latent 적용 + Edit lora

어제 저는 참조 잠재 공간 (Reference Latent)을 통해 이미지 편집을 구현하는 두 가지 서로 다른 로라 (lora)를 보았습니다. 하나는 mattehe(AnimaEditV1)의 것이고, 다른 하나는 GOOKLE(lora_edit_ZeroTwo)의 것입니다. 저는 GOOKLE의 Lora가 더 마음에 듭니다. mattehe의 것은 약간 과하게 학습되었습니다 (overcooked).

하지만 이 Lora들의 문제는 학습 데이터가 주로 옷을 입거나 벗는 것에 관한 것이었다는 점입니다. 그래서 캐릭터의 포즈를 거의 바꾸지 못합니다.

세 번째 손이 보이나요?

또한, 알몸 상태의 캐릭터 의상을 변경하는 것이 더 낫다는 점을 언급하고 싶습니다. 왜냐하면 이 LoRA (Low-Rank Adaptation)들은 캐릭터의 몸에 이미 존재하는 의상과 관련하여 문제를 일으키기 때문입니다.

하지만 캐릭터들에게 옷을 잘 입혀줍니다:

Yes, I see a third hand.

그리고 얼굴 표정 또한 가능합니다:

결론:

전반적으로 두 가지 접근 방식 모두 유능합니다. 저는 이 LoRA (Low-Rank Adaptation)들의 업데이트를 계속 지켜볼 것이며, 누군가가 Anima를 위한 IC-LoRA (InstructPix2Pix LoRA)를 학습시킬 가능성도 있습니다.

테스트를 위한 워크플로우 (Workflow) 링크