3D Gaussian Splatting의 내재적 분해 및 편집
요약
3D Gaussian Splatting을 활용하여 복사 휘도장을 확산 반사율과 셰이딩으로 분해하는 연구를 제안합니다. 독립적인 Gaussian 프리미티브 세트와 데이터 기반 최적화를 통해 조명 변화 없이 물체의 질감을 정교하게 편집할 수 있습니다.
핵심 포인트
- 3D Gaussian Splatting 기반의 내재적 분해(Intrinsic decomposition) 방법론 제안
- 확산 반사율과 셰이딩을 독립적인 Gaussian 세트로 모델링
- 데이터 기반 예측을 통한 다중 시점 사진의 레이어 분리 최적화
- 단일 이미지 편집만으로 임의 시점의 질감 및 조명 재렌더링 가능
이미지 색상을 확산 반사율 (diffuse albedo)과 셰이딩 (shading)의 곱으로 표현하고, 필요에 따라 시점 의존적 잔차 (view-dependent residuals)를 추가하는 내재적 분해 (Intrinsic decomposition) 방식은 조명을 변경하지 않고도 물체의 색상과 질감을 수정할 수 있게 해주므로 이미지 편집 분야에서 오랜 역사를 가지고 있습니다. 본 연구에서는 이러한 분해의 세 가지 핵심 측면에 대한 해결책을 제안함으로써, Gaussian splatting으로 표현된 복사 휘도장 (radiance fields)으로 내재적 분해를 확장합니다. 첫째, 내재적 분해를 독립적인 Gaussian 프리미티브 (Gaussian primitives) 세트로 모델링하는 방법을 설명하며, 이를 통해 각 세트가 자신이 나타내는 레이어의 특성에 적응할 수 있도록 합니다. 둘째, 데이터 기반 예측 (data-driven predictions)에 의해 유도되는 최적화 절차를 제시하여, 장면의 다중 시점 사진을 앞서 언급한 내재적 세트로 분리 (disentangle)합니다. 마지막으로, 사용자가 단 한 장의 이미지에서 평면 표면의 반사율 (albedo)을 수정하는 것만으로 해당 표면의 질감을 수정할 수 있는 편집 워크플로우를 제공합니다. 이러한 편집을 내재적 복사 휘도장 (intrinsic radiance field) 내에 캡처함으로써, 임의의 시점에서 그럴듯한 조명과 함께 편집된 장면을 재렌더링할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기