Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SUPRA-Tex는 단일 이미지 기반 3D 생성의 한계를 극복하기 위해 제안된 모델입니다. 가시 영역과 미관찰 표면을 분리하여 처리함으로써, 참조 이미지를 높은 충실도로 보존하면서도 일관성 있는 3D 소재 생성을 가능하게 합니다. 이는 기하학적 조건부 텍스처링 및 종단 간 에셋 생성에서 SOTA 성능을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기단일 이미지 기반 3D 생성이란 주어진 3D 메시(mesh)에 재조명 가능한(relightable) 소재를 입히는 동시에, 참조 이미지의 시각적 디테일을 충실하게 보존하는 것을 목표로 합니다. 기존 방법들은 일관성 없는 다중 뷰 예측을 융합할 때 아티팩트(artifacts)를 발생시키거나, 암시적 이미지-특징 조건화(implicit image-feature conditioning)를 통해 미세한 디테일을 보존하는 데 어려움을 겪었습니다. 이러한 문제들을 해결하기 위해, 우리는 가시 영역-소재 추정(visible-material estimation), 표면 정렬(surface alignment), 그리고 관찰 기반 3D 완성(observation-guided 3D completion)을 분리하는 원칙에 기반하여 SUPRA-Tex를 소개합니다. 이러한 역할 분담은 제한된 3D 데이터로 학습된 3D 생성기가 가시 증거 보존과 미관찰 표면 완성에 역량을 집중할 수 있도록 합니다. 구체적으로, 우리는 먼저 MLLM(Multi-modal Large Language Model) 기반 이미지 편집 모델을 훈련하여 참조 뷰에서 조명 분리 PBR(Physically Based Rendering) 맵을 예측합니다. 그런 다음 이 맵들을 가시 표면에 투영하고, 사전 학습된 소재 VAE 인코더를 사용하여 네이티브 관찰 라텐트(observation latents)로 인코딩하며, 이는 생성 목표의 라텐트 공간을 공유합니다. 인터리브드 플로우 트랜스포머(interleaved flow transformer)는 이 라텐트들을 고정된 읽기 전용 앵커(read-only anchors)로 유지하는 동시에, 미관찰 영역과 전체 표면 업데이트를 번갈아 수행하여 완전한 소재 라텐트를 생성합니다. 이러한 설계는 참조와 초정렬(super-alignment)을 달성하며, 가시 영역에서는 '보는 것이 곧 얻는 것(What You See Is What You Get)' 수준의 충실도를, 미관찰 표면에서는 일관된 완성도를 제공합니다. 공개 데이터셋만을 사용하여 훈련된 SUPRA-Tex는 기하학 조건부 텍스처링과 종단 간(end-to-end) 에셋 생성 모두에서 SOTA 성능을 달성하며, 야외 이미지에서도 선도적인 상용 시스템에 필적하거나 능가하는 성능을 보여줍니다. 프로젝트 페이지: https://supra-3d.github.io/supratex/