Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Anima 모델을 활용하여 이미지를 편집하는 두 가지 기술적 방법론을 소개합니다. 인페인팅과 컨트롤넷을 활용한 포즈 변경 방식과 LoRA를 이용한 의상 및 표정 변경 방식의 장단점을 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기네, 사실입니다.
이 주제에 관심을 갖게 되어, 이를 구현하는 두 가지 방법을 찾아냈습니다.
제가 직접 찾은 것부터 시작하겠습니다:
이 방법은 제가 "Consistency characters" 워크플로우에서 SDXL을 위해 사용했던 방식과 유사합니다. 인페인트 (inpaint)를 사용하여 생성된 이미지 옆에 참조 이미지를 추가하는 방식입니다. IC-Loras와 SDXL의 숨겨진 잠재력에 관한 포스트에서 영감을 받았습니다.
하지만 "anima-lllite-inpainting-v2" 컨트롤넷 (controlnet)이라는 추가적인 마법 없이는 작동하지 않습니다.
여전히 약간 불안정하며 전혀 작동하지 않을 수도 있습니다. 하지만 스포일러를 하자면 - 이 방법이 옷이나 얼굴 표정을 바꿀 수 있을 뿐만 아니라 포즈 (pose)를 완전히 바꿀 수 있게 해주는 가장 적응력이 높은 방법입니다.
어제 저는 참조 잠재 공간 (Reference Latent)을 통해 이미지 편집을 구현하는 두 가지 서로 다른 로라 (lora)를 보았습니다. 하나는 mattehe(AnimaEditV1)의 것이고, 다른 하나는 GOOKLE(lora_edit_ZeroTwo)의 것입니다. 저는 GOOKLE의 Lora가 더 마음에 듭니다. mattehe의 것은 약간 과하게 학습되었습니다 (overcooked).
하지만 이 Lora들의 문제는 학습 데이터가 주로 옷을 입거나 벗는 것에 관한 것이었다는 점입니다. 그래서 캐릭터의 포즈를 거의 바꾸지 못합니다.
또한, 알몸 상태의 캐릭터 의상을 변경하는 것이 더 낫다는 점을 언급하고 싶습니다. 왜냐하면 이 LoRA (Low-Rank Adaptation)들은 캐릭터의 몸에 이미 존재하는 의상과 관련하여 문제를 일으키기 때문입니다.
하지만 캐릭터들에게 옷을 잘 입혀줍니다:
그리고 얼굴 표정 또한 가능합니다:
전반적으로 두 가지 접근 방식 모두 유능합니다. 저는 이 LoRA (Low-Rank Adaptation)들의 업데이트를 계속 지켜볼 것이며, 누군가가 Anima를 위한 IC-LoRA (InstructPix2Pix LoRA)를 학습시킬 가능성도 있습니다.