Home3D 1.0: 인테리어 디자인을 위한 고충실도 이미지-to-3D 에셋 생성 시스템

우리는 인테리어 디자인 및 이커머스 (e-commerce) 애플리케이션을 대상으로, 단일 참조 이미지로부터 고품질 3D 에셋을 생성하는 모듈형 이미지-to-3D 생성 시스템인 Home3D 1.0을 선보입니다. 가구 또는 장식 아이템의 사진이 주어지면, 시스템은 물리 기반 렌더링 (PBR) 재질이 포함된 메쉬 (mesh)를 출력하며, 이 메쉬는 재질별 구성 요소로 분해될 수 있습니다. 파이프라인은 긴밀하게 결합된 네 가지 모듈로 구성됩니다: Geometry 모듈은 geometry VAE와 coarse-to-fine flow-matching DiT를 이용한 잠재 SDF (latent SDF) 모델링을 통해 수밀성(watertight) 메쉬를 재구성합니다; Texture 모듈은 다중 뷰 알베도 (multiview albedo) 관측치를 예측하고, 이를 메쉬에 재투영하며, 3D 텍스처 필드 (3D texture field)를 통해 보이지 않는 표면 영역을 완성합니다; Material 모듈은 MatWeaver를 사용하여 비디오 기반 세그멘테이션 (video-based segmentation) 및 UV 공간 투표 (UV-space voting)를 통해 구성 요소 마스크를 얻은 다음, 계층적 멀티모달 매칭 (hierarchical multi-modal matching)을 통해 엄선된 재질 라이브러리로부터 PBR 맵을 검색하고 베이킹 (bake)합니다; 그리고 Parts 모듈은 PartVAE와 PartDiT를 사용하여 재질 편집이 가능한 시맨틱 파트 메쉬 (semantic part meshes)를 생성하며, 한 번의 패스 (one pass)로 멀티 헤드 파트별 SDF 필드를 디코딩합니다. 각 모듈은 전용 지표를 통해 독립적으로 평가되며, 이를 통해 현재 시스템의 역량과 광범위한 배포를 위해 남아있는 격차를 모두 강조합니다.