KREA2에서 다양한 데이터셋 크기를 사용해 '필요한 이미지 개수'라는 오래된 질문에 답해보았습니다.
요약
본 기사는 KREA2를 활용하여 다양한 크기의 합성 데이터셋(3개, 8개, 15개)으로 LoKR을 학습시킨 결과를 분석했습니다. 소규모 데이터셋만으로도 좋은 유사성을 달성할 수 있지만, 다양한 스타일로 캐릭터의 특징을 구현하려면 더 많은 이미지가 필요함을 보여줍니다.
핵심 포인트
- KREA2는 단 3장의 사진만으로도 높은 수준의 캐릭터 유사성 확보가 가능합니다.
- 다양한 스타일이나 구도를 유지하기 위해서는 데이터셋 크기를 늘리는 것이 유리할 수 있습니다.
- LoKR 성능은 측면 각도나 위에서 내려다보는 등 특정 어려운 각도에서 우수하게 나타납니다.
- 무작정 이미지 개수를 늘리는 것은 학습 속도를 늦추고 비용만 증가시킬 위험이 있습니다.
저는 합성 데이터셋(이 여성은 실제 사람이 아닌 AI가 생성한 인물입니다)을 만들고, 이를 사용하여 KREA2용 LoKR 세 가지를 학습시켰습니다. 하나는 3개의 이미지만 사용했고, 다른 하나는 8개, 그리고 또 다른 하나는 15개의 이미지를 사용했습니다. 학습 시 캡션에 트리거 단어는 사용하지 않았습니다. 저는 그녀를 단순히 젊은 한국 여성으로만 언급하고, 헤어스타일, 배경, 의상, 얼굴 표정 등 주변의 모든 것을 상세하게 설명했습니다.
3개 이미지 LoKR은 1,000 스텝에서 좋은 유사성을 보였습니다. 8개 이미지 LoKR은 1,440 스텝에서, 그리고 15개 이미지 LoKR은 2,100 스텝에서 나왔습니다. 쇼케이스 샷을 만드는 워크플로우는 다음과 같습니다: krea2 int8에 qwen3vl 4b 텍스트 인코더, refusal LoRA 1.0, turbo 0.4 (스타일용은 0.2), 16 스텝, cfg 2, euler/beta57, shift 3, 2:3 비율의 2MP, Wan2.1 upscale2x VAE를 사용했습니다. 스타일을 위해 저는 보통 LoKr 강도를 1.2 또는 1.4 또는 1.6으로 높입니다.
주요 시사점 (TLDR): KREA2의 경우 단지 세 장의 사진만으로도 좋은 유사성을 달성하는 LoKR을 만들 수 있습니다. 하지만 다른 스타일에서 그녀의 유사성을 유지하려면 데이터셋에 더 많은 사진이 필요할 수 있습니다. 15개 이미지 LoKR로는 다양한 스타일로 그녀를 구현할 수는 있었지만, 그녀가 갈색 머리를 가진 예쁜 여성과 구별되는 매우 독특한 특징은 없습니다. (물론 거의 모든 사진, 심지어 스타일화된 사진에서도 나타나는 스터드 귀걸이를 제외한다면 말입니다.)
15개 사진 LoKR이 측면 각도, 위에서 내려다보는 샷, 어깨 너머로 돌아보는 샷, 옆모습 등의 어려운 각도에서는 우수합니다. 하지만 3/4 각도, 로우 앵글, 해변 샷 등 대부분의 각도에서는 모든 LoKR이 동률입니다. 이 정보가 궁금해하는 분들에게 도움이 되기를 바랍니다.
예를 들어 저는 항상 자신이 LoRA로 만들고 싶은 캐릭터의 더 많은 고품질 사진을 찾아다녔습니다. 어느 시점부터는 단지 학습 속도를 늦추고 있을 뿐이며, GPU를 임대한다면 비용만 증가시킬 뿐입니다. 전체 상세 내용과 비교에 사용한 모든 이미지는 아래 댓글에 첨부했습니다. 이는 제 사이트로 연결되는데, 공지 목적으로 말씀드립니다. 무료이지만 제 추천 링크가 포함되어 있습니다.
제출자 /u/SirToki [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기