Dash2Sim: 야생(in-the-wild) 블랙박스 영상을 활용한 폐루프(Closed-Loop) 주행 시뮬레이션

자율주행 시뮬레이션은 일반적으로 소수의 도시에서 수집된 데이터나 수동으로 작성된 합성 시나리오(synthetic scenarios)에 의존합니다. 블랙박스(Dashcam) 영상은 희귀하거나 롱테일(long-tailed) 시나리오를 포함하여 훨씬 더 광범위한 장소와 상황을 포괄합니다. 하지만 단안(monocular) 야생 영상으로부터 정확한 4D 장면을 복원하기 어렵기 때문에 시뮬레이션용으로는 활용도가 낮다고 간주되어 왔습니다. 공사 구간(Work zones)은 블랙박스가 포착하는 대표적인 롱테일 상황 중 하나입니다. 본 논문에서는 야생 단안 블랙박스 영상을 기존 시뮬레이터와 호환 가능한 미터법 기반의 지리 참조(geo-referenced) 4D 주행 로그로 변환하고, 주석(annotation) 없이 독립적으로 유지 관리되는 지도와 대조하여 각 로그를 검증하는 프레임워크인 Dash2Sim을 제시합니다. 우리는 Dash2Sim을 대규모 영상 코퍼스에 적용하여 17개 도시, 270만 개의 3D 객체, 4,244개의 장면을 아우르는 ROADWork4D 벤치마크 데이터셋을 구축했습니다. 검증된 하위 집합인 ROADWork4D-CL(2,201개 장면)을 통해 특권 정보(privileged)를 가진 폐루프 플래너(closed-loop planners)를 연구한 결과, 공사 구간 시나리오가 매우 어렵다는 것을 발견했습니다. 규칙 기반(rule-based) 및 하이브리드(hybrid) 플래너가 학습 기반(learning-based) 플래너보다 일반화 성능이 더 좋았지만, 모든 플래너가 임시 공사 구간 차로에서 요구되는 차선 변경을 수행하지 못하며 한계를 보였습니다. 플래닝을 넘어, Dash2Sim에 의해 복원된 조밀한 깊이(dense depth) 정보는 지각 지표(perceptual metrics) 기준 신규 시점 합성(novel-view synthesis) 품질을 최대 19% 향상시켰으며, 이는 단안 영상으로부터 폐루프 센서 시뮬레이션을 위한 풍부한 조건부 정보(conditioning)를 제공할 수 있는 잠재력을 시사합니다.