3D 재구성 (Reconstruction) 및 생성 (Generation)은 일반적으로 서로 다른 패러다임으로 다루어집니다. 즉, 재구성을 위한 픽셀 기반 회귀 (Pixel-based regression)와 생성을 위한 잠재 확산 (Latent diffusion) 방식입니다. 최근 연구들은 이를 잠재 공간 (Latent space)에서 통합하려고 시도하고 있으나, 다음과 같은 눈에 띄는 단점들이 있습니다. 확산 목적 함수 (Diffusion objective)가 근본적인 3D 표현 (3D representation)이 아닌 잠재 특징 (Latent features) 상에서 정의된다는 점과, 두 분기 모두 잠재 인코딩 (Latent encoding)으로 인해 발생하는 정보 손실을 겪으며, 사전 학습된 변이형 오토인코더 (VAE) 또는 표현 오토인코더 (RAE)를 필요로 한다는 점입니다.

본 논문에서는 이 두 가지 작업을 통합된 픽셀 공간 확산 패러다임 (Unified pixel-space diffusion paradigm) 하에 재정의하고, 3D 재구성과 생성을 공동으로 해결하는 단일 모델인 PixWorld를 소개합니다. 렌더링된 이미지 상에서 확산을 직접 감독함으로써, PixWorld는 앞서 언급한 제한 사항들을 제거하고 최적화를 3D 장면 충실도 (3D scene fidelity)와 일치시킵니다. 2D 이미지 수준에서 작동하며 3D 기하학적 인지 능력이 부족한 광학적 및 지각적 감독 (Photometric and perceptual supervision)을 넘어, 우리는 사전 학습된 3D 파운데이션 모델 (3D foundation model)의 기하학 인지 특징 공간 (Geometry-aware feature space)에서 렌더링된 뷰를 실제 값 (Ground truth)과 일치시키는 기하학 인지 손실 (Geometry perception loss)을 추가로 도입하여 3D 구조적 감독을 제공합니다. PixWorld는 기존의 잠재 공간 생성 방식보다 일관되게 우수한 성능을 보이며 최첨단 재구성 방식과 대등한 성능을 보여줌으로써, 통합된 픽셀 공간 접근 방식의 우수성을 입증합니다.

요약 (TL;DR): PixWorld는 3D 장면 생성과 재구성을 통합하는 단일 엔드 투 엔드 (End-to-end) 픽셀 공간 확산 모델입니다. VAE나 RAE 없이 미분 가능한 렌더링 (Differentiable rendering)을 통해 픽셀 정렬된 3D 가우시안 필드 (3D Gaussian field)를 직접 감독하며, 3D 구조적 일관성을 위해 기하학 인지 손실을 추가합니다.

⚡ 추론 속도 (Inference Speed)

단일 PixWorld 모델이 3D 재구성과 생성을 모두 수행합니다. 증류 (Distillation) 과정을 거친 후, 4단계 모델 (PixWorld-480P-4steps)은 약 0.6초 만에 장면을 생성합니다. 이는 확산 기반 월드 생성기 (Diffusion-based world generators)보다 최대 약 1000배 빠릅니다 (FantasyWorld 1041배, Gen3C 445배, Gen3R 148배, FlashWorld 5배).

🗓️ 출시 계획

저희는 조만간 다음과 같은 항목들을 공개할 계획입니다:

🧹 정제된 RealEstate10K / DL3DV / ACID 데이터셋
⚡ PixWorld-480P-4steps 증류 모델 (distilled model) — 4단계 증류된 가중치(weights) + 추론(inference) 코드.

arXiv : https://arxiv.org/abs/2607.05373
전체 논문 (Full Paper) : https://arxiv.org/pdf/2607.05373
GitHub : https://github.com/SensenGao/PixWorld
프로젝트 페이지 (Project Page) : https://sensengao.github.io/PixWorld/
제출자: /u/pmttyji
[link] [comments]