SceneForge: 3D 개입을 통한 구조화된 세계 감독 (Structured World Supervision)

요약

SceneForge는 편집 가능한 3D 세계 상태를 활용하여 멀티모달 학습을 위한 구조화된 감독(Supervision)을 생성하는 프레임워크입니다. 장면의 의미적, 기하학적, 물리적 의존성을 유지하며 객체 제거 및 카메라 변화와 같은 명시적 개입을 적용함으로써, 일관성 있는 반사실적 관찰과 다중 시점 데이터를 생성합니다. 이를 통해 객체 및 장면 제거 성능을 크게 향상시키는 라이선스 프리 실내 감독 리소스를 구축했습니다.

핵심 포인트

• 3D 세계 상태를 기반으로 의미적, 기하학적, 물리적 의존성을 유지하는 구조화된 감독 생성
• 단순 이미지 처리가 아닌 공유된 세계 상태로부터 반사실적 관찰 및 다중 시점 데이터 유도
• Infinigen과 Blender를 활용하여 2,000개 이상의 장면을 포함한 대규모 데이터셋 구축
• 객체 제거 및 장면 제거 벤치마크에서 정량적·정성적 성능 향상 입증