실제-합성 데이터 공동 학습을 위한 폐쇄 루프 동적 주행 데이터 혼합 방식

데이터 스케일링 (Data scaling)은 현대 딥러닝 (Deep learning)의 근간이며, 자율 주행 (Autonomous driving)이 엔드 투 엔드 학습 (End-to-end learning)으로 전환됨에 따라 그 중요성이 점점 더 커지고 있습니다. 실제 주행 데이터는 주석 (Annotation) 비용이 많이 들고 장면 편향 (Scene-biased)이 존재하기 때문에, 거의 무한한 합성 데이터 (Synthetic data)를 활용한 실제-합성 공동 학습 (Real-synthetic co-training)은 유망한 방향입니다. 그러나 사용 가능한 모든 합성 데이터를 무분별하게 포함하는 것은 비효율적이며 분포 변화 (Distribution shifts)를 초래하며, 실제 훈련 예산 하에서 데이터 혼합 (Data mixture)을 최적화하는 것은 여전히 중요하지만 충분히 연구되지 않은 문제입니다. 이러한 관점에서, 우리는 훈련 데이터의 혼합이 장면 유형 및 수량 측면에서 명확한 가이드가 필요하다고 주장합니다. 특히 본 연구에서는 데이터 혼합을 폐쇄 루프 평가 피드백 (Closed-loop evaluation feedback)에 따라 모델 성능을 극대화하도록 훈련 데이터 혼합을 반복적으로 조정하는 동적 최적화 과정 (Dynamic optimization process)으로 개념화하며, 장면 표현 (Scene representation), 데이터 혼합 최적화 및 검색 (Data mixture optimization and retrieval), 그리고 모델 훈련 및 평가를 통합하는 완전 자동화된 폐쇄 루프 데이터 엔진인 AutoScale을 제안합니다. 구체적으로, 주행 장면 표현을 위해 그래프 정규화 오토인코더 (Graph Regularized AutoEncoder, Graph-RAE)를 제안하고, 클러스터별 중요도 추정 및 재가중치를 위한 클러스터 인지 경사 상승법 (Cluster-aware Gradient Ascent, Cluster-GA)을 도입하며, 고가치 샘플을 선택하기 위해 클러스터 가이드 벡터 검색 (Cluster-guided vector retrieval)을 수행합니다. NavSim에서의 실험을 통해 AutoScale이 기존의 바닐라 공동 학습 (Vanilla co-training) 및 교차 도메인 베이스라인 (Cross-domain baselines)보다 뛰어난 성능을 보이며, 제한된 예산 내에서 더 적은 합성 샘플로도 더 나은 성능을 달성함을 입증합니다.