제약 조건이 있는 머신러닝을 위한 확률적 패널티-장벽 방법 (Stochastic Penalty-Barrier Methods)

제약 조건이 있는 머신러닝 (Constrained machine learning)은 공정성을 고려한 학습 (fairness-aware training), 물리 정보 신경망 (physics-informed neural networks), 그리고 통계 모델로의 상징적 도메인 지식 (symbolic domain knowledge) 통합을 가능하게 합니다. 이러한 실질적인 중요성에도 불구하고, 딥러닝 (deep learning)에서 자연스럽게 발생하는 비볼록 (non-convex), 비매끄러운 (non-smooth), 확률적 (stochastic) 환경을 위한 일반적인 방법은 존재하지 않습니다. 본 논문에서는 지수적 이중 평균화 (exponential dual averaging), 안정화된 패널티 스케줄 (stabilized penalty schedule), 그리고 비매끄러움 (non-smoothness)을 처리하기 위한 모로 포락선 (Moreau envelope)을 통해 고전적인 패널티 방법 (penalty methods) 및 장벽 방법 (barrier methods)을 이 환경으로 확장한 확률적 패널티-장벽 방법 (Stochastic Penalty-Barrier Method, SPBM)을 제안합니다. 다양한 환경에서의 실험 결과, SPBM은 최대 10,000개의 제약 조건에 대해 제약이 없는 Adam과 비교했을 때 선형적인 실행 시간 오버헤드만을 발생시키면서 기존의 제약 최적화 (constrained optimization) 베이스라인들과 대등하거나 이를 능가하는 성능을 보여주었습니다.