Instant NuRec: 주행 장면 시뮬레이션을 위한 순방향식 3D 가우시안 재구성
요약
본 연구는 자율주행 시뮬레이션의 핵심인 3D Gaussian Splatting (3DGS) 월드를 효율적으로 생성하는 Instant NuRec을 제안합니다. 이 모델은 짧은 다중 시점 주행 로그를 단일 순방향 패스로 변환하여, 기존 방법 대비 재구성 속도를 크게 향상시키고 PSNR 성능도 개선했습니다.
핵심 포인트
- 순방향식 3DGS 재구성으로 효율성 극대화
- 다중 시점 주행 로그를 단일 패스로 처리
- Waymo Open Dataset에서 강력한 기준선 달성
- AlpaSim과 호환되어 closed-loop 시뮬레이션 가능
3D 시뮬레이션 플랫폼은 종단 간(end-to-end) 정책 평가를 가능하게 하므로 자율주행에 매우 중요하며, 이를 통해 개발 비용을 절감하고 안전성을 향상할 수 있습니다. 최근 몇 년 동안 신경망 시뮬레이션이 주류가 되었으며, NuRec과 같은 방법들이 핵심적인 역할을 수행하고 있지만, 이러한 방법들은 여전히 비교적 느리고 일반적으로 장면별(per-scene) 튜닝이 필요합니다. 본 연구에서는 짧은 다중 시점 주행 로그를 단일 순방향 패스(single forward pass)를 통해 완전히 시뮬레이션 가능한 3D Gaussian Splatting (3DGS) 월드로 변환하는 순방향 신경망 재구성 모델인 Instant NuRec을 제안합니다. 이 모델은 보정된 카메라 리그로부터의 다중 시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 그리고 카메라별 ISP 보정을 포함하는 계층적 출력을 방출하며, 3DGUT을 통해 비핀홀 카메라 모델에 대한 네이티브 지원을 제공합니다. 이 모델은 10~20초 분량의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open Dataset에서 평가된 가장 강력한 기준선(baseline)보다 2.01 dB 높은 PSNR을 달성합니다. Instant NuRec은 NuRec에 깊이 통합되어 있으며 closed-loop 시뮬레이션을 위해 AlpaSim과 호환됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기