Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RORA는 단일 정적 객체 비디오를 통해 관절 구조를 가진 시뮬레이션용 에셋을 재구성하는 엔드투엔드 파이프라인을 제안합니다. 3DGS와 메쉬 기반 기하학을 결합한 하이브리드 표현을 사용하여 복잡한 운동학적 구조를 정밀하게 구현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기NeRF 및 3D Gaussian Splatting (3DGS)와 같은 사실적인 시각적 표현을 통해 실제 환경을 시뮬레이션으로 복제하는 것은 로봇 학습 (Robot Learning)에서 sim-to-real 간극을 줄이기 위한 효과적인 전략으로 부상했습니다. 그러나 real-to-sim 과정에서 객체의 관절 구조 (Articulation)를 구현하는 것은 여전히 어려운 과제입니다. 기존의 모션 트래킹 (Motion Tracking) 또는 학습 기반의 관절 구현 방법들은 여러 개의 관절을 가진 복잡한 운동학적 구조 (Kinematic Structures)에서 낮은 성공률을 보입니다. 더욱이, 이러한 방법들은 객체의 동적인 움직임을 스캔해야 하므로 재구성 과정을 훨씬 복잡하게 만듭니다. 본 연구에서는 제안 기반의 human-in-the-loop 프로세스를 통해, 단일 정적 객체 비디오 입력으로부터 정확한 관절 구조를 가진 시뮬레이션 준비 완료된 에셋을 재구성하는 최초의 엔드투엔드 (End-to-End) 파이프라인을 제안합니다. 우리의 접근 방식은 사실적인 렌더링을 위한 3DGS와 물리적 상호작용을 위한 메쉬 기반 기하학 (Mesh-based Geometry)을 결합한 하이브리드 표현 (Hybrid Representation)을 내보냅니다. 재구성 과정에서 우리의 파이프라인은 볼록 분해 (Convex Decomposition)를 수행한 후, 직관적인 부품 분할 (Part Segmentation)을 위한 사용자 그룹화 (User Grouping)를 진행하며, 이어서 3D Gaussians를 해당 메쉬 부품에 바인딩합니다. 그 후 자동 관절 제안 알고리즘 (Automatic Joint Suggestion Algorithm)이 국부 경계 기하학 (Local Boundary Geometries)으로부터 후보 관절 축을 계산하고 이를 사용자에게 제시하여 효율적인 관절 에셋 재구성을 지원합니다. 우리는 우리의 방법이 partnet-mobility-v0 데이터셋과 실제 객체에서 정밀한 관절 구현 결과를 달성함을 보여주었습니다. 또한, 재구성된 에셋을 Unreal Engine 및 NVIDIA Isaac Sim에 배포하여 실시간의 숙련된 손 조작 (Dexterous Hand Manipulation) 작업을 시연함으로써 로봇 학습에서의 잠재적인 활용 가능성을 제시했습니다.