Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
3D Gaussian Splatting 환경에서 물리 기반의 정반사를 정확하게 재구성하고 편집할 수 있는 새로운 방법론을 제안합니다. 경로 추적과 특화된 훈련 방식을 통해 반사판과 반사된 객체를 분리하여 모델링하며, 실시간으로 반사 효과를 편집할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기3D Gaussian Splatting과 같은 라디언스 필드는 사진으로 포착된 장면의 실시간 렌더링을 가능하게 합니다. 또한 높은 시각적 품질로 대부분의 정반사(specular reflections)를 재구성하지만, 일반적으로는 반사판 뒤에 존재하는 기본 요소(primitives)를 사용하여 '가짜' 반사된 지오메트리(geometry)로 모델링합니다. 우리의 목표는 반사판과 반사된 객체들을 정확하게 재구성하여 정반사를 편집 가능하게 만드는 것입니다. 우리는 사진에서 확산(diffuse) 및 정반사 버퍼뿐만 아니라 지오메트리와 BRDF 버퍼를 추출하는 유망한 학습 기반 방법론을 활용하는 개념 증명(proof of concept)을 제시합니다. 우리의 방법은 세 가지 핵심 구성 요소에 기반합니다. 첫째, 입력 훈련 뷰의 확산 및 정반사 버퍼를 사용하여 장면의 확산 버전을 최적화하고 경로 추적(path tracing)을 이용해 물리 기반 정반사를 효율적으로 생성합니다. 둘째, 이 과정을 수렴시키는 것을 가능하게 하는 특화된 훈련 방법을 제시합니다. 마지막으로, 다중 반사(multi-bounce reflections)를 효율적으로 구현할 수 있는 3D Gaussian 기본 요소에 대한 빠른 레이 트레이싱 알고리즘을 제시합니다. 우리의 방법은 입력 이미지에서 보이지 않는 객체를 포함하여 반사판과 반사된 객체들을 고유한 장면 표현으로 재구성합니다. 이 솔루션은 다중 반사 효과, 거칠기(roughness) 변경 등을 포함하여 정반사가 있는 포착된 장면을 실시간으로 일관성 있게 편집할 수 있도록 합니다. 우리는 주로 합성 장면의 Ground Truth 버퍼를 사용하여 결과를 보여주며, 현재 완벽하지 않은 학습 기반 버퍼를 가진 실제 장면에서도 예비 결과를 제시합니다. 코드와 데이터는 다음에서 이용 가능합니다: https://repo-sam.inria.fr/nerphys/editable-gaussian-reflections/