확률적 신경망 동역학에 대한 불확실성 인식 예측 안전 필터

요약

본 논문은 확률적 앙상블(PE) 신경망 기반 모델 기반 강화학습(MBRL)에 적용할 수 있는 새로운 '불확실성 인식 예측 안전 필터(UPSi)'를 제안합니다. UPSi는 미래 결과를 도달 가능 집합으로 구성하고 명시적인 확신 제약을 도입하여, 기존 방법론의 한계였던 불확실성 정량화 문제를 해결하며 엄격한 안전 예측을 제공합니다. 이 필터는 표준 MBRL 프레임워크와 통합되어 높은 탐색 안전성을 확보하면서도 성능 저하 없이 일반적인 RL 환경에 적용 가능함을 입증했습니다.

핵심 포인트

• 기존의 예측 안전 필터(PSF)는 모델 의존성이나 불확실성 정량화 부족 등의 한계를 가집니다.
• 본 연구는 확률적 앙상블 신경망을 활용하여 고차원 동역학을 포착하는 MBRL 프레임워크를 기반으로 합니다.
• 제안된 UPSi(Uncertainty-Aware Predictive Safety Filter)는 미래 상태를 도달 가능 집합으로 정의하고 명시적인 확신 제약을 도입하여 안전성을 강화합니다.
• UPSi는 기존 신경망 PSF 대비 탐색 안전성에서 상당한 개선을 보였으며, 표준 MBRL 성능과 동등함을 유지했습니다.