단일 카메라 기반 시뮬레이션 및 가상 착용 준비 아바타 모델링

원문 발행 2026. 10. 25. 20:36원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

본 연구는 단일 카메라만으로 고화질의 가상 착용 아바타를 재구성하는 방법을 제시합니다. 기존 방식이 의류와 신체 분리 및 시간적 일관성 문제에 직면했던 한계를 극복하기 위해, 물리적으로 통합된 이중 레이어 GS-Mesh 표현을 제안했습니다. 이를 통해 단일 모노큘러 비디오만으로도 시각적으로 그럴듯한 의복 역학을 갖춘 아바타 재구성이 가능합니다.

핵심 포인트

단일 카메라 입력만으로 가상 착용이 가능한 아바타 모델링 구현.
의류와 신체 움직임을 분리(decoupled)하여 표현하는 이중 레이어 구조 채택.
물리적으로 통합된 GS-Mesh를 통해 시간적/기하학적 일관성 보장.
단일 모노큘러 비디오만으로도 높은 시각적 그럴듯함 구현.

고화질의 애니메이션 가능하고 가상 착용(try-on)이 가능한 버추얼 아바타를 단일 카메라만을 사용하여 재구성하고 렌더링하는 것은 많은 응용 분야에서 매우 중요합니다. 그러나 기존의 가상 착용 준비 인간 아바타 재구성 방법들은 주로 두 가지 문제 때문에 모노큘러 비디오나 단일 이미지로부터 이를 달성하는 데 어려움을 겪습니다: (1) 기존 접근 방식들은 일반적으로 의류와 그 아래의 신체를 모두 표현하기 위해 단일 레이어를 사용하며, 이들의 개별적인 움직임 특성을 무시합니다. 그리고 (2) 단일 카메라에서 포착된 입력은 종종 의류와 그 아래의 신체 영역을 완전히 커버하지 못하는 경우가 많습니다.

이러한 문제들을 해결하기 위해, 우리는 2D 생성 데이터를 통합하여 모노큘러 비디오 또는 심지어 단일 이미지로부터 분리된(decoupled) 3D 의복 착용 인간 아바타를 재구성하기 위한 물리적으로 통합된 이중 레이어 GS-Mesh 표현을 제안합니다. 2D 생성 방법들은 주어진 포즈 시퀀스로부터 비디오 시퀀스를 생성할 수 있지만, 프레임 간 일관성(inter-frame consistency)을 유지하는 데 어려움이 있습니다. 우리는 생성된 데이터 내의 프레임 간 불일치성을 기하학적 불일치성과 외형적 불일치성으로 분해합니다. 우리의 3D 표현에 기반하여, 최종 재구성 및 렌더링 결과가 모두 3D 일관성이며 시간적으로 일관되도록 보장합니다.

다중 뷰 재구성을 신뢰하는 기존의 3D 의류 전송 방법들과, 새로운 시점(novel-view)이나 새로운 포즈 합성 없이 이미지 기반 의류 편집을 위해 확산 모델(diffusion models)을 사용하는 대부분의 2D 접근 방식과 비교했을 때, 우리의 방법은 단일 모노큘러 비디오 또는 심지어 단일 이미지만 필요로 하며, 가상 착용 및 새로운 포즈 애니메이션 과정에서 시각적으로 그럴듯한 의복 역학(cloth dynamics)을 구현합니다. 이는 단일 카메라만을 사용하여 시각적으로 그럴듯한 의복 역학을 갖춘 가상 착용 분야에 상당한 발전을 의미합니다.

AI 자동 생성 콘텐츠

원문 바로가기

단일 카메라 기반 시뮬레이션 및 가상 착용 준비 아바타 모델링

요약

핵심 포인트

댓글