제약 조건 탐색을 위한 페널티 정규화를 통한 전역 최적성

요약

본 연구는 안전성이나 자원 등의 제약 조건이 존재하는 환경에서 효율적이고 전역적으로 최적인 정책을 찾는 문제를 다룹니다. 기존의 방법들이 약한 후회나 에르고딕 평균에 국한되어 실질적인 배포가 어려운 한계를 가졌기 때문에, 본 논문에서는 'Policy Gradient Penalty (PGP)'라는 새로운 방법을 제안합니다. PGP는 볼록 점유 측정 제약 조건을 제곱 페널티 정규화로 강제하고, 정책 경사 정리와 규칙성 분석을 통해 전역적인 근최적 및 거의 실현 가능한 단일 배포 가능 정책의 수렴을 보장하는 것이 핵심입니다.

핵심 포인트

• 강화학습에서 제약 조건이 있는 탐색(Constrained Exploration)은 엔트로피 최대화가 가법 구조를 갖지 않아 기존 벨만 방정식 기반 방법 적용이 어렵다.
• 제안된 Policy Gradient Penalty (PGP)는 볼록 점유 측정 제약 조건을 제곱 페널티 정규화로 처리하는 단일 루프 정책 공간 접근법이다.
• PGP는 가상의 보상(pseudo-rewards)을 구성하고 고전적인 정책 경사 정리(Policy Gradient Theorem)를 활용하여 학습한다.
• 본 연구는 숨겨진 볼록성과 강한 쌍대성을 이용하여, 비볼록성에도 불구하고 전역 마지막 반복 수렴 및 $\epsilon$-최적 제약 엔트로피 값 달성을 보장한다.