HairPort: 이미지를 위한 인컨텍스트(In-context) 3D 인지형 헤어 임포트 및 전이

이미지 간에 헤어스타일을 전이(Transferring)하는 것은 컴퓨터 그래픽스(Computer Graphics), 컴퓨터 비전(Computer Vision), 그리고 시각 효과(Visual Effects) 분야에서 중요하지만 도전적인 과제입니다. 이는 사용자가 물리적으로 머리카락을 바꾸지 않고도 새로운 스타일을 탐색할 수 있게 해주며, 가상 피팅(Virtual Try-on) 시스템, 증강 현실(Augmented Reality), 엔터테인먼트 분야에서 활용될 수 있습니다. 대부분의 기존 연구들은 포즈 차이가 작은 경우에는 잘 작동하지만, 시점(Viewpoint)과 스케일(Scale) 차이가 커서 누락된 헤어 콘텐츠를 전이가 아닌 합성(Synthesis)해야 하는 경우에는 한계가 있습니다. 우리는 헤어 제거(Hair removal)와 전이를 명시적으로 분리하고, 합성 전에 기하학적 일관성(Geometric consistency)을 강제함으로써 이러한 문제들을 해결하고자 하는 3D 인지형(3D-aware) 헤어스타일 전이 프레임워크인 HairPort를 제안합니다. 우리는 FLUX.1 Kontext의 LoRA 기반 인컨텍스트 적응(In-context adaptation)을 통해 얼굴의 사실적인 대머리 버전을 생성하는 Bald Converter를 도입합니다. Bald Converter를 학습시키기 위해, 우리는 다양한 정체성(Identity)과 조건에 걸쳐 6,000개의 대머리 및 원본 이미지 쌍을 포함하는 새로운 데이터셋인 Baldy를 도입합니다. 또한, 참조 헤어스타일을 타겟 시점에서 재구성 및 재렌더링한 후 소스 이미지에 합성하는 3D 인지형 전이 파이프라인(3D-Aware Transfer Pipeline)을 사용합니다. 3D를 인지하기 때문에, 우리의 방법은 소스와 타겟 사이의 큰 포즈 및 스케일 차이를 지원합니다. 마지막으로, 조건부 플로우 매칭(Conditional flow-matching) 생성기가 대머리 소스와 기하학적으로 정렬된 참조 가이드를 통해 전이된 결과를 합성합니다. 종합적으로, 우리의 방법은 정확하고, 포즈 일관성이 있으며, 정체성을 보존하는 헤어스타일 전이를 가능하게 하여, 정성적 및 정량적 측면 모두에서 기존 방법들을 능가합니다.