Self-Play를 넘어: 폐쇄 루프 교통 시뮬레이션의 연속 동작을 위한 계층적 추론

요약

본 논문은 기존의 셀프-플레이 강화학습이 포착하지 못했던 인간 운전자의 사회적 인지 능력을 반영하기 위해 계층적 추론 아키텍처를 제안합니다. 이 프레임워크는 상위 레벨에서 스태켈베르크 스타일의 다중 에이전트 강화학습(MARL)을 사용하여 전략적 의도 명령을 생성하고, 이를 하위 레벨 연속 동작 모듈에 전달하여 물리적으로 일관되고 환경 반응적인 제어 시퀀스로 변환합니다. 또한, 분포 이동 문제를 해결하기 위해 MARL과 보조 복구 감독을 결합한 공동 훈련 방식을 도입했으며, SUMO 기반 테스트에서 높은 안전성과 효율성을 입증했습니다.

핵심 포인트

• 기존 셀프-플레이 RL의 한계: 단순한 평형 전략으로는 인간 운전자의 사회적 인지 능력을 포착하기 어려움.
• 제안된 계층적 아키텍처: 상위 레벨(MARL)에서 '의도'를 생성하고, 하위 레벨 모듈이 이를 물리적 '행동'으로 구현함.
• 하이브리드 공동 훈련 방식: MARL과 보조 복구 감독을 결합하여 폐쇄 루프 환경에서의 분포 이동 문제를 완화함.
• 실험 결과: SUMO 기반 테스트에서 제안된 프레임워크가 기존 방법론 대비 우수한 안전성, 부드러움 및 교통 효율성을 보여줌.