강화학습 (RL) 의 상태별 안전성을 위한 증강 라그랑주 승수 네트워크 (ALaM)

요약

본 논문은 실제 환경에서 강화학습(RL)의 핵심 난제인 안전성을 다루며, 상태별 제약을 처리하기 위해 '증강 라그랑주 승수 네트워크(ALaM)' 프레임워크를 제안합니다. 기존 방법론이 겪던 불안정한 쌍대 경사상승 문제를 해결하기 위해 ALaM은 2차 페널티 도입과 감독 회귀 학습을 결합하여 안정적인 상태별 승수 학습을 가능하게 합니다. 이를 통해 개발된 SAC-ALaM 알고리즘은 안전성과 보상을 모두 극대화하며 최첨단 성능을 달성함을 입증했습니다.

핵심 포인트

• 강화학습(RL)의 주요 도전 과제는 실제 환경에서의 '안전성' 확보입니다.
• 기존 라그랑주 방법론은 상태별 제약 처리 시 훈련 진동 및 불안정성을 보였습니다.
• ALaM 프레임워크는 2차 페널티와 감독 회귀를 결합하여 상태별 승수 학습의 안정성을 혁신적으로 개선했습니다.
• 제안된 SAC-ALaM 알고리즘은 안전성 제약과 최대 보상 달성을 동시에 최적화하며 높은 성능을 보여줍니다.