기존의 신경망 기반 3D 표현 방식들은 연속 표면 모델링, 효율적인 이미지 합성, 또는 객체별 압축 중 하나만을 개별적으로 다룹니다. 이들은 레이 트레이싱(ray tracing)에 필요한 명시적 표면 질의(explicit surface queries)와 여러 객체에 걸쳐 예측될 수 있는 구조화된 출력 공간을 공동으로 제공하지 못합니다.
우리는 NeuOctree라는 신경망 기반 명시적 표현을 소개합니다. 이는 광선이 표면과 교차하는지 여부와 위치를 그 표면의 법선(normal) 및 알베도(albedo) 정보와 함께 직접 예측합니다. NeuOctree는 희소 옥트리(octree) 복셀의 모서리에 공유 특징(shared features)을 저장하고, 이를 연속적인 국부 필드(local field)로 보간합니다.
순환 교차 유도 샘플링(recurrent intersection-guided sampling)을 사용하는 경량 디코더는 예측된 표면 근처의 각 질의를 정제하여, 메시 추출이나 텍스처 베이킹 없이 직접적인 표면 렌더링을 가능하게 하며, 열려 있거나 비완전한(non-watertight) 기하학적 구조도 수용합니다. 동일한 옥트리 구조는 개별 객체에 대한 압축 최적화와, 개별 객체 피팅(per-object fitting) 없이 컬러 포인트 클라우드로부터 렌더링 가능한 에셋을 구성하는 공유 옥트리 CNN(CNN) 모두를 지원합니다.
총 7개의 메시와 4가지 저장 예산에 걸쳐, NeuOctree는 28개 비교 중 24개에서 가장 낮은 위치 오차(positional error)를 달성하는 동시에 경쟁력 있는 법선 정확도를 유지하며, N-BVH 및 VQAD 대비 공동 기하학-외관 재구성(joint geometry--appearance reconstruction)을 크게 개선합니다. 이 순방향 모델(feedforward model)은 0.05초 만에 표현을 구성하며, 재학습 없이 Objaverse에서 ShapeNet으로 전송할 수 있습니다.
우리는 또한 레이 트레이스 렌더링(ray-traced rendering)과 이미지 조건부 생성(image-conditioned generation)을 시연하여, NeuOctree가 신경 추론(neural inference) 및 직접 표면 렌더링을 위한 공통 출력 공간을 제공함을 보여줍니다. 코드는 https://github.com/octree-nn/neural-octree에서 이용 가능합니다.