안전한 오프라인 강화학습을 위한 견고한 확률적 차폐 (Robust Probabilistic Shielding for Safe Offline

요약

본 논문은 오프라인 강화학습(Offline RL)의 핵심 과제인 정책의 안전성 보장을 다룹니다. 기존의 안전 정책 개선(SPI) 기법을 확장하여, 주어진 데이터셋과 안전/위험 상태에 대한 지식만을 활용하는 '차폐된 SPI'를 제안합니다. 이 방법은 행동 공간을 증명 가능한 안전한 범위로 제한함으로써 높은 확률로 안전성을 보장하며, 실험적으로 차폐되지 않은 방식보다 성능 및 안정성 모두에서 우수함을 입증했습니다.

핵심 포인트

• 오프라인 강화학습(Offline RL)의 주요 목표는 고정된 데이터셋만으로 정책을 학습하는 것입니다.
• 안전성을 보장하기 위해, 기존의 안전 정책 개선(SPI) 기법에 '차폐(Shielding)' 개념을 통합했습니다.
• 제안된 차폐된 SPI는 사용 가능한 데이터와 안전/위험 상태 지식만을 사용하여 행동 공간을 제한함으로써 높은 확률로 안전한 정책을 보장합니다.
• 실험 결과, 제안된 방법은 특히 데이터가 부족한 영역(low-data regime)에서 평균 및 최악 사례 성능 모두를 향상시켰습니다.