Meshtryoshka: 메쉬 래스터화 (Mesh Rasterization)를 통한 실제 세계 장면의 미분 가능한 렌더링

미분 가능한 렌더링 (Differentiable rendering)은 3D 재구성 (3D reconstruction) 및 새로운 시점 합성 (novel view synthesis)을 위한 강력한 접근 방식으로 부상했습니다. 최첨단 미분 가능한 렌더링 방법들은 3D 기하학 (3D geometry) 및 외관 (appearance)에 대한 다양한 맞춤형 표현을 특화된 렌더러 (renderers)와 결합합니다. 그러나 컴퓨터 그래픽스의 대부분의 다운스트림 태스크 (downstream tasks)는 3D 메쉬 (3D meshes)에 의존합니다. 이전 연구들이 메쉬 표현을 사용한 미분 가능한 렌더링을 시도했지만, 이러한 접근 방식들은 객체 중심 (object-centric) 장면에 국한되어 있으며 대규모의 경계가 없는 (unbounded) 장면을 재구성하는 데 실패합니다. 본 연구에서는 기성품 삼각형 래스터라이저 (triangle rasterizer)와 마트료시카 인형을 닮은 중첩된 메쉬 쉘 (nested mesh shells)로 구성된 3D 표현을 결합한 새로운 메쉬 미분 가능한 렌더링 프레임워크인 Meshtryoshka를 소개합니다. 모든 순전파 (forward pass) 단계에서, 메쉬 쉘은 등가면 추출 (iso-surface extraction)을 통해 3D 부호 거리 함수 (3D signed distance function)로부터 새롭게 추출되며, 각 정점 (vertex)의 불투명도 (opacities)는 부호 거리 (signed distance)의 함수로 계산됩니다. 그런 다음 각 메쉬 쉘은 독립적으로 래스터화 (rasterized)되며, 최종 이미지는 알파 합성 (alpha compositing)을 통해 생성됩니다. 결정적으로, 메쉬 정점 위치는 불투명도 값을 통해 부호 거리 함수로 흐르는 그래디언트 (gradients)를 통해 간접적으로만 업데이트되므로, 우리의 방법은 정점 위치에 대해 미분 가능할 필요가 없는 기성품 메쉬 렌더러 (off-the-shelf mesh renderers)와 호환됩니다. 객체 중심 장면에서 우리의 방법은 표면 기반 (surface-based) 미분 가능한 렌더링 기술들과 경쟁력 있는 성능을 보여줍니다. 우리의 미분 가능한 메쉬 렌더링 방법은 경계가 없는 실제 세계의 3D 장면으로 확장 가능하며, 여기서 최첨단 비메쉬 (non-mesh) 방법들에 근접하는 고품질의 새로운 시점 합성 결과를 산출합니다. 우리의 방법은 특화된 렌더러에 의존하지 않고, 컴퓨터 그래픽스 도구 상자의 전통적인 도구들만을 사용하여 미분 가능한 렌더링 문제를 해결하는 것이 가능할 수 있음을 시사합니다.