Edit3DGS: 2D 지시어 가이드 확산 모델(Diffusion)과 3D Gaussian Splatting을 통한 동적 머리 편집을 위한

원문 발행 2026. 06. 16. 11:26원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

Edit3DGS는 2D 지시어 가이드 확산 모델과 3D Gaussian Splatting을 결합하여 동적인 3D 머리 편집을 수행하는 프레임워크입니다. 텍스트를 통해 표정, 속성, 외형을 세밀하게 수정하며, 시간적 일관성을 유지하는 고충실도 아바타 생성을 지원합니다.

핵심 포인트

2D 확산 모델과 3D Gaussian Splatting의 통합 프레임워크 제시
텍스트 지시어를 통한 표정 변환 및 속성 수정 가능
다중 뷰 배치 편집을 통한 시간적 일관성 및 정체성 보존
가상 아바타 및 영화 제작 등 다양한 미디어 분야 응용 가능

우리는 2D 지시어 가이드 확산 모델 (2D instruction-guided diffusion)과 3D Gaussian Splatting을 통합하여 동적인 3D 머리 편집 (dynamic 3D head editing)을 수행하는 통합 프레임워크인 Edit3DGS를 제시합니다. 프레임 기반 편집이나 정적인 3D 재구성 (3D reconstruction)을 별도로 다루었던 이전 방식들과 달리, 우리의 방법은 이미지 도메인에서의 의미론적 제어 가능성 (semantic controllability)을 사진처럼 사실적이고 시간적으로 일관된 (temporally consistent) 3D 표현 (3D representations)과 결합합니다. 입력 비디오가 주어지면, 편집 가능한 얼굴 영역이 마스킹되며, 텍스트 조건부 확산 모델 (text-conditioned diffusion model)을 사용하여 표정 변환 (expression transformation), 속성 수정 (attribute modification), 외형 정교화 (appearance refinement)와 같은 세밀한 작업을 지원하도록 수정됩니다. 편집된 프레임들은 이후 3D Gaussian Splatting을 통해 집계되어, 정체성 (identity)과 동작 역학 (motion dynamics)을 모두 보존하는 일관되고 고충실도의 아바타 (high-fidelity avatar)를 생성합니다. 일관성을 강제하기 위해, Edit3DGS는 다중 뷰 배치 편집 (multi-view batch editing)과 타임스텝 전반에 걸쳐 손실된 표정을 복구하는 경량 인페인팅 (lightweight inpainting) 전략을 통합합니다. 실험 결과는 우리의 프레임워크가 부드러운 시간적 전환과 함께 제어 가능하고 아티팩트가 없는 (artifact-free) 머리 편집을 가능하게 함을 입증하며, 가상 아바타, 몰입형 통신, 영화 제작 및 인터랙티브 미디어 분야에서의 실질적인 응용 가능성을 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

Edit3DGS: 2D 지시어 가이드 확산 모델(Diffusion)과 3D Gaussian Splatting을 통한 동적 머리 편집을 위한

요약

핵심 포인트

댓글