SceneBloom: 체화 학습을 위한 사실적이고 다양한 레이아웃을 갖춘 에이전트 기반 실내 환경 생성

일반화 가능한 체화 에이전트를 훈련시키려면 사실적이고 다양하며 시뮬레이션 준비가 된 실내 환경이 필요합니다. 언어 기반 방법은 의미론적 계획(semantic planning)과 객체 수준 추론(object-level reasoning)을 지원하지만, 정확한 공간 접지(spatial grounding)는 여전히 어렵습니다. 시각적 생성 모델은 그럴듯한 배치에 대한 풍부한 사전 지식(priors)을 제공하지만, 그 결과물은 물리적으로 유효한 3D 장면이 되기 위해 기하학적 추론(geometric reasoning)이 필요합니다.

우리는 시각적 레이아웃 샘플링을 계약 기반의 3D 컴파일과 결합한 에이전트 프레임워크인 SceneBloom을 소개합니다. 계층적 샘플러는 확산 사전 지식(diffusion priors)을 사용하여 기능 구역 내의 가구 배치를 생성합니다. 이후 컴파일러는 각 제안에서 추출된 관계를 사용하여 기하학적 맞춤(geometric fitting)과 국소 자세 교정(local pose correction)을 안내합니다.

다섯 가지 유형의 방에 걸쳐, SceneBloom은 비교된 방법들 중에서 가장 높은 시각적 품질과 물리적 안정성을 달성하며, 감지된 메시 충돌(mesh collisions)이나 경계 외부 객체(out-of-bounds objects)가 없는 유일한 방법입니다. 또한 그 레이아웃은 모든 비교 기준선보다 실제 방의 분포에 더 가깝습니다. 이러한 사실적인 장면에서 훈련된 객체 내비게이션 정책은 동일한 수의 실제 훈련 스캔으로 훈련된 것보다 보류된(held-out) 실제 스캔에서 더 높은 성공률을 달성합니다.

코드는 https://github.com/Tinaliu0123/scenebloom에서 이용 가능합니다.