Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
TerraZero는 대규모 강화학습을 위한 절차적 주행 시뮬레이터이자 셀프 플레이 훈련 스택입니다. 인간의 데몬스트레이션 없이도 GPU 기반의 고속 시뮬레이션을 통해 자율 주행 에이전트를 효율적으로 훈련하며, 뛰어난 제로샷 일반화 성능을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기강력한 자율 주행 에이전트(autonomous driving agents)를 훈련시키기 위해서는 대규모 강화학습 (RL)이 가능할 만큼 충분히 빠르고, 실제 세계의 지도 구조에 행동을 근거할 수 있을 만큼 현실적이며, 로그 데이터에는 거의 포함되지 않는 안전에 치명적인 롱테일 (long tail) 사례를 커버할 수 있을 만큼 충분히 다양한 시뮬레이터가 필요합니다. 우리는 절차적 주행 시뮬레이터(procedural driving simulator)이자 셀프 플레이 (self-play) 훈련 스택인 TerraZero를 제시합니다. 구성 가능한 C 엔진은 CPU에서 시뮬레이션을 실행하고 GPU에서 제로 카피 (zero-copy) 경로를 통해 정책 추론 (policy inference)을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트 단계 (agent-steps)를 유지합니다. 이는 기존의 객체 수준 (object-level) 시뮬레이터보다 훨씬 빠르면서도, 이기종 에이전트 (heterogeneous agents), 다중 역학 모델 (multiple dynamics models), 완전한 교통 규칙 준수와 같은 요소를 생략하여 단일 에이전트 시스템의 충실도 (fidelity)를 가볍게 유지합니다. TerraZero는 로그 데이터를 실제 세계의 지도 기하학 (map geometry)의 소스로만 취급하며, 각 지도에 무작위 규칙 기반 도로 사용자 (road users)와 신호 제어기 (signal controllers)를 배치하고 에피소드마다 에이전트 역학 (agent dynamics), 보상 (rewards), 크기를 무작위화하여 하나의 지도가 무한한 시나리오 세트를 생성하도록 합니다. 보고된 모든 정책은 인간의 데몬스트레이션 (human demonstrations) 없이, 추론 시 폴백 플래너 (fallback planner) 없이, GPU를 통한 계산 효율적인 셀프 플레이 레시피 상에서 강화학습 (RL)만으로 처음부터 훈련됩니다. 정책들은 명시적인 감독 없이도 좌측 통행 (left-hand-traffic) 주행이 발현되는 것을 포함하여, 도시와 데이터셋 전반에 걸쳐 제로샷 (zero-shot) 일반화가 가능합니다. 자차 정책 (ego policy)으로서 TerraZero는 더 큰 학습된 플래너 (learned planners)들을 제치고 InterPlan 롱테일 벤치마크에서 1위를 차지한 최초의 완전 학습된 정책입니다. 일상 주행 val14에서는 최고 수준의 접근 방식 중 하나로 분류되며, 충돌 (collision) 및 충돌 시간 (time-to-collision) 점수에서 가장 우수한 성적을 기록하며 가장 안전한 것으로 나타났습니다. Waymo Open Sim Agents 현실성 측면에서도 동일한 레시피가 다른 데몬스트레이션 프리 (demonstration-free) 방법들을 능가하며, 가장 강력한 참조 고정 (reference-anchored) 셀프 플레이 방법과 경쟁할 만한 수준입니다. 하나의 스택이 두 가지 역할을 모두 수행합니다: 자동차와 트럭의 역학에 따른 주행 정책, 그리고 차량, 보행자, 자전거 이용자를 공동으로 제어하는 시뮬레이션 에이전트 (sim agents)입니다.