샘플링 기반 안전 강화학습 (Sampling-Based Safe Reinforcement Learning)

요약

본 논문은 강화학습 에이전트의 실제 환경 배포를 가로막는 안전한 탐색 문제를 해결하기 위해 샘플링 기반 안전 강화학습(SBSRL) 알고리즘을 제안합니다. SBSRL은 유한한 동역학 샘플 집합에 대해 제약 조건을 강제함으로써 불확실한 환경에서도 실질적인 안전 보장을 제공하며, 인식론적 불확실성을 제약하는 전략을 통해 별도의 탐색 보너스 없이도 효율적인 탐색을 가능하게 합니다.

핵심 포인트

• 유한한 동역학 샘플 집합 전체에 제약 조건을 적용하여 학습 과정 전반의 안전성 유지
• 인식론적 불확실성(epistemic uncertainty) 제약을 통한 명시적 탐색 보너스 제거
• 정칙성 조건 하에서 안전성 보장 및 유한 시간 샘플 복잡도 상한 도출
• 시뮬레이션 및 실제 로봇 하드웨어에서의 실험을 통해 실용성과 확장성 검증