제약 조건이 있는 강화학습 (Constrained Reinforcement Learning)을 통한 전력 예산 기반 수중 이동체 제어

요약

수중 이동체의 에너지 효율적인 제어를 위해 전력 예산을 명시적 제약 조건으로 설정하는 Constrained Markov decision process 방식을 제안합니다. PPO-Lagrangian 알고리즘을 통해 수동적인 가중치 조정 없이도 에너지 소모를 최소화하며 임무를 수행할 수 있음을 입증했습니다.

핵심 포인트

• 에너지 예산을 물리적 단위의 제약 조건으로 공식화
• PPO-Lagrangian 알고리즘을 통한 온라인 쌍대 변수 업데이트
• 기존 방식 대비 전력 소모를 최대 64.9% 절감
• 가중치 재조정이 필요 없는 튜닝 프리(tuning-free) 제어 경로 제공