제약 조건이 있는 머신러닝을 위한 확률적 패널티-장벽 방법 (Stochastic Penalty-Barrier Methods)

요약

본 논문은 비볼록, 비매끄러운 확률적 환경에서 제약 조건을 준수하며 학습할 수 있는 '확률적 패널티-장벽 방법(SPBM)'을 제안합니다. 지수적 이중 평균화와 모로 포락선 등을 활용하여 기존 최적화 기법의 한계를 극복하였으며, 대규모 제약 조건 환경에서도 효율적인 성능을 입증했습니다.

핵심 포인트

• 비볼록(non-convex) 및 비매끄러운(non-smooth) 확률적 환경을 위한 새로운 최적화 프레임워크 제안
• 지수적 이중 평균화와 안정화된 패널티 스케줄을 통한 효율적인 제약 조건 관리
• 모로 포락선(Moreau envelope)을 도입하여 비매끄러운 환경에서의 학습 안정성 확보
• 최대 10,000개의 제약 조건에 대해 Adam 대비 선형적인 시간 오버헤드만으로 우수한 성능 달성