LiteReality-Agent: 상호작용 가능한 3D 실내 장면 재구성을 위한 에이전트 시스템

우리는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고, 관절화되었으며(articulated), 시뮬레이션 준비가 된 3D 장면으로 재구성하는 에이전트 시스템인 LiteReality-Agent를 제시합니다. 핵심적으로 LiteReality-Agent는 3D 재구성을 코딩 문제로 공식화하며, 이 과정에서 코딩 에이전트는 특수 도구를 사용하여 증거를 수집하고, 방의 3D 디지털 트윈을 생성하기 위해 실행 가능한 Python 스크립트인 Room.py를 반복적으로 편집합니다. 이러한 공식화를 통해 우리는 증거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비 상태, 그리고 재구성 과정 전반에 걸친 품질 관리를 지원하는 강력한 observe-edit-verify 하네스를 개발했습니다. LiteReality-Agent는 시뮬레이션 및 다운스트림 구현 AI(embodied AI) 작업에 적합한 고품질의 재구성을 생성합니다. 나아가, 에이전트 기능이 빠르게 개선됨에 따라, LiteReality-Agent가 도입한 시스템은 미래 에이전트를 위한 강력한 오케스트레이션 프레임워크로 남아 있습니다: 이는 특수 도구, 구조화된 워크플로우, 그리고 재구성 품질과 신뢰성을 크게 향상시키는 견고한 검증 메커니즘을 에이전트에 갖추게 합니다. 우리는 LiteReality-Agent가 Astra나 Fable 같은 최근의 최첨단 모델들이 생성하는 것보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션에 더 적합한 재구성을 생성한다는 것을 입증합니다. 따라서 우리는 LiteReality-Agent를 견고한 실세계-시뮬레이션(real-to-sim) 시스템을 위한 실용적이고 중요한 구성 요소로 간주합니다. 소스 코드와 데이터 캡처 애플리케이션 모두 공개적으로 이용 가능합니다. 코드:https://github.com/LiteReality/LiteReality-Agent/