RayDer: 실제 세계 비디오를 활용한 확장 가능한 자기지도 학습 기반 신규 시점 합성 (Novel View Synthesis)

요약

RayDer는 카메라 추정, 장면 재구성, 렌더링을 하나의 백본으로 통합한 피드포워드 트랜스포머 모델입니다. 실제 비디오의 동적 요소를 학습 신호로 활용하여, 정적 장면의 신규 시점 합성(NVS) 성능을 데이터 규모에 따라 멱법칙으로 확장합니다.

핵심 포인트

• 카메라 추정, 재구성, 렌더링을 단일 백본으로 통합
• 실제 비디오의 동적 콘텐츠를 안정적인 학습 신호로 활용
• 데이터 및 연산량에 따른 명확한 멱법칙 확장성 증명
• 지도 학습 기반 방식에 필적하는 제로샷 성능 달성