MakeupMirror: 메이크업 전이를 위한 확산 모델(Diffusion Models)의 얼굴 속성 보존 개선

요약

MakeupMirror는 확산 모델을 활용하여 얼굴의 정체성과 피부톤을 보존하며 메이크업을 전이하는 새로운 연구를 제안합니다. ControlNet 통합과 영역별 제어 기술을 통해 기존 모델 대비 얼굴 유사도를 60% 향상시키고 피부톤 차이를 50% 감소시켰습니다.

핵심 포인트

• ControlNet과 얼굴 기하학적 조건화를 통한 얼굴 충실도 유지
• 피부, 눈, 입술 등 영역별 정밀한 메이크업 전이 제어 기술 도입
• 피부톤 기반 변조를 통해 피사체 간 전이 시 피부색 변화 방지
• Levenberg-Marquardt Langevin 샘플러로 추론 속도 최적화
• 기존 Stable-Makeup 대비 높은 얼굴 인식 유사도 및 낮은 피부톤 차이 달성