CoDimRecon: 변형 가능한 곡선, 표면 및 볼륨을 이용한 시뮬레이션 준비 3D 장면의 에이전트 기반 재구성

실제 세계 관찰로부터 시뮬레이션 준비가 된(simulation-ready) 3D 장면을 재구성하는 것은 로보틱스, 게임, 몰입형 애플리케이션에 활용될 수 있지만, 기존 방법들은 대체로 강체(rigid objects)를 가정합니다. 이로 인해 차원성(dimensionality: 곡선, 표면 또는 볼륨)에 따라 시뮬레이션 준비가 된 기하학적 구조가 달라지고, 그 행동이 탄성학을 넘어서는 모델을 요구할 수 있는 변형 가능한 객체(deformables)에 중요한 격차가 존재합니다. 본 논문에서는 Multi-view RGB 관찰로부터 강체, 관절 구동식(articulated), 그리고 변형 가능한 객체를 포함하는 편집 가능한 장면을 재구성하는 에이전트 기반 프레임워크인 CoDimRecon을 제시합니다. 장면 수준의 기하학적 사전 지식(Scene-level geometric priors)은 스케일과 레이아웃을 확립하고, 객체 수준에서 생성된 메쉬는 에이전트를 상세하고 간결한 기하학으로 안내합니다. 관절 구동식 강체 객체는 명시적인 관절(joints)을 가진 움직이는 부품들로 분해됩니다. 변형 가능한 객체의 경우, 범주별 에이전트 세션은 곡선을 반지름을 가진 중심선(centerlines)으로, 표면을 두께를 가진 매니폴드 쉘(manifold shells)로, 볼륨을 체적 메싱(volumetric meshing)을 위한 물막이(watertight) 고체로 재구성합니다. 재사용 가능한 시뮬레이터 스킬은 호환되는 물리 모델과 파라미터를 초기화하며, 에이전트가 안내하는 행동 테스트는 불일치를 노출하고 모션, 기하학, 수치 해석(numerics), 또는 재료 모델링에 대한 목표 지향적 수정(targeted revisions)을 유발합니다. 평가된 Replica 및 ScanNet++ 장면에서 CoDimRecon은 경쟁력 있는 구성적 재구성 정확도를 달성할 뿐만 아니라, 로드(rod), 쉘(shell), 고체 시뮬레이션을 위한 변형 가능한 에셋까지 추가로 생성합니다. 나아가 모든 세 가지 표현에 걸친 로봇 상호작용을 시연하며, 행동 테스트가 플라스틱 굽힘(plastic bending)을 동기 부여하는 제어된 종이 접기 사례를 포함합니다.