Safe-Support Q-Learning: 위험한 탐색 없이 학습하기

요약

본 연구는 위험한 탐색으로 인한 문제를 해결하기 위해 강화학습(RL)의 안전성을 높인 프레임워크를 제안합니다. 기존 방법들이 단순히 패널티로 위험을 완화하는 것과 달리, 이 접근법은 훈련 과정에서 아예 위험한 상태 방문 자체를 제거하는 엄격한 안전 요구사항을 채택했습니다. 이를 위해 '안전한 집합(safe set)' 기반의 행동 정책을 활용하고, Q 함수와 정책을 분리하여 KL 정규화 벨만 목표를 통해 안정적으로 학습시키는 2단계 프레임워크를 구축했습니다.

핵심 포인트

• 훈련 중 위험한 상태 방문 자체를 제거하는 엄격한 안전 요구사항을 채택함.
• 안전한 집합(safe set) 기반의 행동 정책을 활용하여 안정적인 학습 환경을 조성함.
• Q 함수와 정책을 분리하고, KL 정규화 벨만 목표를 도입하여 안정성을 확보함.
• 제안된 2단계 프레임워크는 다양한 행동 공간과 정책 유형에 적용 가능한 통합 솔루션을 제공함.