정규화 기반의 제약된 견고 강화 학습에 대한 통합적 관점

요약

본 논문은 정규화 기반의 견고 강화 학습(Robust Reinforcement Learning)에 대한 통합적인 관점을 제시합니다. 명목 정책과 최악 사례 정책 간 성능 격차에 대한 새로운 상한을 도출하고, 이를 제약 최적화 문제로 공식화했습니다. 특히, 기존 방법들이 고정된 라그랑주 승수를 사용한 특수한 경우임을 밝히고, 이 가중치를 자동으로 업데이트하는 방법을 제안합니다.

핵심 포인트

• 견고 강화 학습을 정규화 기반으로 접근하며 통합적 관점을 제시함.
• 명목/최악 사례 정책 성능 격차에 대한 새로운 상한을 도출함.
• 강건 훈련을 제약 최적화 문제로 공식화하고, 라그랑주 승수 자동 업데이트를 제안함.
• 여러 연속 제어 작업에서 이론적 분석의 유효성을 검증함.