AvatarMix: 의상 개인화를 위한 정체성 보존형 크로스 아바타 합성

기존의 3D 아바타 의상 전이 (outfit transfer) 방법들은 뚜렷한 과제에 직면해 있습니다. 2D 편집을 3D로 들어 올리는 (lift) 방식은 의상이나 정체성 (identity)의 품질 저하를 겪는 경우가 많으며, 신체와 의상 레이어를 별도로 모델링하는 방식은 교차 아티팩트 (intersection artifacts)가 발생하기 쉽습니다. 우리는 두 개의 고충실도 (high-fidelity) Gaussian 아바타로부터 머리와 몸을 직접 합성함으로써 이러한 문제들을 우회하는 구성적 패러다임 (compositional paradigm)인 AvatarMix를 소개합니다. 이 패러다임은 본질적으로 의상 품질을 보존하고 교차 문제를 피할 수 있지만, 매끄러운 연결 부위를 만들고 신체 재형성 (body reshaping) 이후 외형 충실도 (appearance fidelity)를 유지하는 데 어려움이 있습니다. 이를 위해 우리는 두 단계의 정교화 전략을 제안합니다. 첫째는 머리카락과 목 부분을 정교화하여 아티팩트 없는 연결을 보장하는 국소적 확산 모듈 (localized diffusion module)인 SeamFix이며, 둘째는 리타겟팅 (retargeting)으로 인해 의상을 입은 신체의 품질이 저하될 때 의상 외형을 복원하는 선택적 전신 정교화 방식인 FullbodyFix입니다. 두 방식 모두 이미 3D 일관성 (3D-consistent)을 가진 Gaussian 아바타의 렌더링 결과물 위에서 작동하므로, 2D-to-3D 리프팅 (lifting) 방식에 비해 다중 뷰 아티팩트 (multi-view artifacts)를 제한할 수 있습니다. 사용자의 신체 정체성을 보존하기 위해, 우리의 메쉬 기반 Gaussian 표현 (mesh-based Gaussian representation)은 강력한 메쉬 리타겟팅 (mesh retargeting) 기술의 적용을 가능하게 하여, 의상을 입은 신체를 사용자의 체형에 맞게 정밀하게 재형성하고 다양한 체형을 견고하게 처리합니다. 광범위한 실험을 통해 우리의 방법이 의상 충실도와 정체성 보존 측면에서 최첨단 (state-of-the-art) 결과를 달성함을 입증하였으며, 사실적인 3D 의상 개인화를 위한 새로운 관점을 제공합니다. 프로젝트 페이지: https://larsph.github.io/avatarmix/