Edit3DGS: 2D 지시어 가이드 확산 모델(Diffusion)과 3D Gaussian Splatting을 통한 동적 머리 편집을 위한

우리는 2D 지시어 가이드 확산 모델 (2D instruction-guided diffusion)과 3D Gaussian Splatting을 통합하여 동적인 3D 머리 편집 (dynamic 3D head editing)을 수행하는 통합 프레임워크인 Edit3DGS를 제시합니다. 프레임 기반 편집이나 정적인 3D 재구성 (3D reconstruction)을 별도로 다루었던 이전 방식들과 달리, 우리의 방법은 이미지 도메인에서의 의미론적 제어 가능성 (semantic controllability)을 사진처럼 사실적이고 시간적으로 일관된 (temporally consistent) 3D 표현 (3D representations)과 결합합니다. 입력 비디오가 주어지면, 편집 가능한 얼굴 영역이 마스킹되며, 텍스트 조건부 확산 모델 (text-conditioned diffusion model)을 사용하여 표정 변환 (expression transformation), 속성 수정 (attribute modification), 외형 정교화 (appearance refinement)와 같은 세밀한 작업을 지원하도록 수정됩니다. 편집된 프레임들은 이후 3D Gaussian Splatting을 통해 집계되어, 정체성 (identity)과 동작 역학 (motion dynamics)을 모두 보존하는 일관되고 고충실도의 아바타 (high-fidelity avatar)를 생성합니다. 일관성을 강제하기 위해, Edit3DGS는 다중 뷰 배치 편집 (multi-view batch editing)과 타임스텝 전반에 걸쳐 손실된 표정을 복구하는 경량 인페인팅 (lightweight inpainting) 전략을 통합합니다. 실험 결과는 우리의 프레임워크가 부드러운 시간적 전환과 함께 제어 가능하고 아티팩트가 없는 (artifact-free) 머리 편집을 가능하게 함을 입증하며, 가상 아바타, 몰입형 통신, 영화 제작 및 인터랙티브 미디어 분야에서의 실질적인 응용 가능성을 제공합니다.