Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
단일 이미지를 활용해 실사 같은 3D 헤드 아바타를 생성하는 S-Avatar 기술을 제안합니다. 확산 가이드 기반의 3D 가우시안 스플래팅과 FLAME 모델을 결합하여 시점 변화에도 일관된 고해상도 아바타를 실시간으로 구현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 확산 가이드(diffusion-guided) 3D 모델 생성 모듈과 3D 가우시안 스플래팅 (3DGS) 애니메이션 전략을 사용하여 단일 이미지로부터 실사 같은 3D 헤드 아바타를 생성하는 새로운 방법인 S-Avatar를 제안합니다. 단일 이미지 헤드 아바타 재구성은 실감 나는 가상 현실 (VR) 애플리케이션에 매우 중요하지만, 기존 방식들은 보지 못한 시점(unseen viewpoints)에서 3D 일관성을 유지하는 데 어려움을 겪는 경우가 많습니다. S-Avatar는 3단계 파이프라인을 통해 이러한 한계를 해결합니다. 첫째, 확산 기반 가우시안 스플랫 생성 모듈을 사용하여 단일 이미지로부터 고해상도 3DGS를 직접 합성합니다. 다음으로, 파라미터 및 공간 변환을 최적화함으로써 파라메트릭 헤드 모델인 FLAME을 생성된 3DGS와 정렬합니다. 마지막으로, 3DGS를 FLAME의 변화에 적응시키기 위해 초기 스플랫과 FLAME 사이의 공간적 관계를 인코딩하는 바인딩 템플릿(binding template)을 구축합니다. 이후 동적인 3D 헤드 아바타는 바인딩 템플릿으로 3DGS를 변형함으로써 실시간으로 렌더링될 수 있습니다. 확산 가이드 기반의 정준(canonical) 3DGS 생성과 FLAME 기반 제어를 결합함으로써, 우리의 방법은 향상된 3D 일관성과 함께 효율적이고 정확한 재구성을 달성합니다. 공개 데이터셋에 대한 평가 결과, S-Avatar는 새로운 시점 및 표정 생성에서 최첨단(state-of-the-art) 방법들보다 뛰어난 성능을 보이며 우수한 사실감과 일관성을 달성함을 입증했습니다. 결과적으로, 우리의 접근 방식은 광범위한 VR/AR 애플리케이션에 적용 가능한 접근성 높은 아바타 생성 분야의 중요한 진전을 나타냅니다. 프로젝트 페이지는 https://github.com/hailsong/savatar 에서 확인할 수 있습니다.