MakeupMirror: 메이크업 전이를 위한 확산 모델(Diffusion Models)의 얼굴 속성 보존 개선

메이크업 전이 (Makeup transfer) 모델은 온라인 메이크업 쇼핑을 위한 가상 시착 (Virtual Try-On, VTO)뿐만 아니라 재미있는 증강 현실 (Augmented Reality, AR) 경험을 가능하게 합니다. Stable-Makeup과 같은 최근의 최첨단 확산 기반 (diffusion-based) 솔루션들은 메이크업 전이의 정확도와 사실성을 극적으로 향상시켰지만, 정체성 (identity) 및 피부색 보존 측면에서는 여전히 한계가 있어 메이크업 쇼핑을 위한 상용 수준의 VTO를 구현하기에는 비현실적입니다. 본 연구에서는 얼굴 특징과 피부톤 보존 측면에서 상당한 진전을 이룬 확산 기반 메이크업 전이 방식인 MakeupMirror를 제안합니다. 우리는 Stable-Makeup에 대해 다음과 같은 몇 가지 기술적 혁신을 도입했습니다: (1) 얼굴 충실도 (facial fidelity)를 유지하기 위해 ControlNets와 얼굴 기하학적 조건화 (facial geometry conditioning)의 통합; (2) 피부, 눈, 입술과 같은 얼굴 영역 전반에 걸쳐 정밀한 메이크업 적용을 가능하게 하는 영역별 메이크업 전이 제어 (region-specific makeup transfer control); (3) 피사체 간 전이 (cross-subject transfer) 시나리오에서 피부톤 변화를 방지하는 피부톤 기반 메이크업 전이 변조 (skin tone-based makeup transfer modulation); (4) 생성 품질을 유지하면서 추론 속도를 높이기 위한 Levenberg-Marquardt Langevin 샘플러의 통합. CPM-Real, Makeup Wild, 그리고 (본 연구에서 새롭게 수집한 더 다양한) MakeupSelfies 데이터셋을 대상으로 한 실험 결과, MakeupMirror는 Stable-Makeup 대비 상대적 얼굴 인식 유사도를 +60% 향상시키고 상대적 피부톤 차이를 -50% 감소시켰으며, 0.7초의 지연 시간 (latency)과 함께 핵심 얼굴 정체성 보존 기준에서 94%의 전문가 수용률을 달성했습니다.