디코더가 적을수록 더 좋다: 새로운 시점 합성(NVS)을 통한 기하학적 표현 학습

본 논문은 기하학적 표현 학습에서 새로운 시점 합성(Novel View Synthesis, NVS)의 역할을 조사합니다. 원칙적으로 NVS는 3D 장면 구조에 대해 추론해야 하며, 이를 통해 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 하지만 기존의 인코더 기반 NVS 방법들은 낮은 품질의 표현을 산출합니다. 이는 감독 신호(supervisory signal)가 부족해서가 아니라, 눈에 띄지 않는 아키텍처 선택 때문입니다: 장면 인코더의 표현 능력을 희석시키는 extit{공간적으로 표현력이 풍부한 디코더(spatially expressive decoders)}와 특징 학습을 방해하는 extit{저수준 픽셀 공간 목표값(low-level pixel-space targets)}이 원인입니다. 우리는 자세 조건화된 로컬 디코더(pose-conditioned local decoder)와 잠재 공간 재구성 목적 함수(latent-space reconstruction objective)를 통해 이 두 가지 문제를 모두 해결하는 자기 지도 학습 기반의 인코더-디코더 트랜스포머, SNAP을 제시합니다. SNAP은 특정 작업에 구애받지 않으며, 특수 목적의 기하학 감독 방식과 경쟁할 수 있음을 보여줍니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 포인트 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation) 등 다섯 가지 작업에 걸쳐 자기 지도 학습 기반 표현들과 경쟁적인 성능을 보입니다. 주목할 만한 점은, SNAP의 패치 특징(patch features)이 더 낮은 컴퓨팅 및 데이터 예산에도 불구하고 강력하게 감독된 모델에 근접하는 출현적 시점 불변성(emergent viewpoint invariance)을 보여준다는 것입니다. 표준 2D 표현들이 무너지는 카메라 이동 상황에서도, SNAP은 더 우아하게 성능 저하를 보이며, 디코더의 표현력 제한이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 밝혀냅니다. https://snap-nvs.github.io