Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GaussianRenderFormer는 트랜스포머 구조를 활용하여 별도의 래스터라이저 없이 3D 가우시안 스플랫을 직접 렌더링하는 방법을 제시합니다. 이 모델은 시점 독립적 인코더와 시점 의존적 디코더로 구성되어, 카메라 입력과 가우시안 세트를 받아 이미지를 출력합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기신경망이 래스터라이저(rasterizer) 없이 자체적으로 3D 가우시안 스플랫(Gaussian splats)을 렌더링하는 방법을 학습할 수 있을까요? 우리는 GaussianRenderFormer를 제시합니다. 이 트랜스포머는 가우시안 세트와 카메라 입력을 받아 이미지를 직접 출력합니다. 각 가우시안은 시점 독립적인 인코더(view-independent encoder)의 하나의 토큰(token)이 되며, 시점 의존적인 디코더(view-dependent decoder)가 해당 토큰들에 주의를 기울임으로써 작은 카메라 광선 패치들을 픽셀로 변환합니다. 각각 20,000개의 가우시안으로 가지치기된 26,820개의 Objaverse 객체로 학습된 GaussianRenderFormer는 전체의 가지치기되지 않은 스플랫과 비교하여 300개의 보지 못한 객체를 38.08 dB PSNR로 렌더링하는 반면, 동일하게 가지치기된 입력을 래스터라이징할 경우 44.02 dB에 도달합니다. 이 격차는 일반화(generalization)의 문제가 아니며, 우리의 진단 결과는 시점 디코더의 병목 현상과 일치합니다. 즉, 원칙적으로 추론할 수 있는 각 가우시안의 투영된 풋프린트(projected footprint)를 알려주는 것이 1.4 dB를 추가합니다. 과소 학습(Under-training) 가능성은 배제할 수 없습니다.
코드, 학습 모델 및 비디오: https://svlwoof.github.io/gaussianrenderformer