비정상 연속 제어를 위한 베이지안 망각 기반 구간별 강건 강화학습 (BAPR)

요약

본 논문은 시스템의 역학이 갑작스럽게 변하는 '구간별 정적' 환경에서 안정성과 성능을 동시에 확보하기 위한 BAPR(Bayesian Amnesic Piecewise-Robust SAC) 알고리즘을 제안합니다. 베이지안 온라인 변화 탐지(BOCD)와 강건 앙상블 강화학습을 결합하여, 체제 변화 시에는 보수적인 정책을, 안정기에는 적응적인 정책을 구사합니다. 특히 Lean 4를 사용하여 알고리즘의 수렴성과 오차 예산을 수학적으로 엄격하게 기계 검증하였습니다.

핵심 포인트

• BOCD를 활용하여 체제 변화를 감지하고, 변화 지점에서는 보수성을 높여 안정성을 확보하는 적응형 메커니즘 구현
• Lean 4를 통한 22개의 정리 및 1,145행의 코드 기계 검증으로 알고리즘의 수학적 신뢰성 입증
• 모드 인식 표현(mode-aware representations)을 통해 배포 시 별도의 모드 라벨 없이도 컨텍스트 조건화 가능
• 신념 분포와 Q-함수 간의 관계에 따른 수축 계수 분석 및 형식적 오차 예산 도출