세상에, 이제 스마트폰으로 3D 모델링이 가능합니다!

GenRecon은 생성형 3D 사전 지식 (generative 3D priors)과 다중 뷰 재구성 (multi-view reconstruction)을 결합하는 새로운 방법을 제안합니다.

이 방식은 더 이상 전통적인 SfM/MVS 또는 NeRF 스타일의 최적화 (optimization)에만 의존하지 않고, 대신 장면을 중첩되는 청크 (chunks)로 나누고, 강력한 생성 모델 (예: Trellis.2)을 사용하여 각 청크를 조건부 생성 (conditional generation) 방식으로 재구성한 다음 이를 하나로 결합합니다.

핵심 혁신은 다중 뷰 이미지 특징 (multi-view image features)을 생성 모델과 정렬된 3D 공간으로 직접 들어 올리는 투영 조건화 메커니즘 (projective conditioning mechanism)입니다.

최종 출력물은 고품질의 편집 가능한 PBR 메쉬 (PBR mesh)이며, 보고에 따르면 실내 장면 재구성 (indoor scene reconstruction)의 충실도 (fidelity)와 완전성 (completeness) 측면에서 현재의 SOTA (State-of-the-Art)보다 16% 더 뛰어난 성능을 보입니다.

이는 현재 3D 재구성 (3D reconstruction)의 트렌드를 실제로 보여줍니다. 즉, 더 이상 기하학적 제약 (geometric constraints)에만 의존하는 것이 아니라, 생성 모델 (generative models)의 사전 지식 (priors)을 점점 더 많이 빌려와 누락된 정보를 채우고 디테일을 강화하는 방향으로 나아가고 있습니다.

프로젝트 주소: