Dyna 스타일 안전 증강 강화학습: 불확실성 앞에서도 안전하게 머무르기

요약

본 논문은 강화학습(RL)의 주요 과제 중 하나인 안전성 문제를 해결하기 위해 'Dyna 스타일 안전 증강 강화학습(Dyna-SAuR)'이라는 새로운 알고리즘을 제안합니다. Dyna-SAuR는 최소한의 도메인 지식만으로 학습된 불확실성 인식 역학 모델을 활용하여, 실패와 높은 불확실성을 피하는 확장 가능한 안전 필터와 제어 정책을 동시에 학습합니다. 이 방법은 CartPole 및 MuJoCo Walker 등의 환경에서 기존 최첨단 방법에 비해 실패율을 현저히 낮추는 효과를 입증했습니다.

핵심 포인트

• 강화학습(RL)의 핵심 과제인 안전성 문제를 해결하기 위해 새로운 접근 방식을 제시함.
• Dyna-SAuR은 불확실성을 인식하는 역학 모델을 사용하여 안전 필터와 제어 정책을 동시에 학습합니다.
• 이 알고리즘은 실패가 예상되거나 불확실성이 높은 상태 영역을 능동적으로 회피하도록 설계되었습니다.
• CartPole 및 MuJoCo Walker 환경에서 기존 방법 대비 월등히 낮은 실패율을 달성했습니다.