Relaxation-Informed Training of Neural Network Surrogate Models
요약
본 연구는 신경망 기반 서브로게이트 모델을 혼합 정수 선형 계획법(MILPs)에 통합하여 전역 최적화를 수행할 때, MILP의 계산 가능성을 향상시키는 새로운 학습 정규화자들을 제안합니다. 이 정규화자들은 특히 big-M 상수와 불안정한 뉴런 수를 벌점하거나, 연속형 LP 이완 간극을 명시적으로 최소화하는 방식으로 작동합니다. 실험 결과, 이러한 방법론은 MILP 해결 시간을 크게 단축시키면서도 서브로게이트 모델의 정확도를 유지할 수 있음을 입증했습니다.
핵심 포인트
- 신경망 서브로게이트 모델을 MILPs에 통합하여 전역 최적화 문제를 다룰 수 있습니다.
- 기존 학습 목적 함수는 MILP의 계산 가능성(tractability)을 직접 제어하지 못하는 한계가 있었습니다.
- 제안된 정규화자들은 big-M 상수와 불안정한 뉴런 수를 벌점하거나, LP 이완 간극을 최소화하여 MILP의 계산 가능성을 높입니다.
- 이 방법론은 MILP 해결 시간을 최대 4차까지 줄일 수 있으며, 서브로게이트 모델의 정확도 저하 없이 높은 성능을 보였습니다.
서브로게이트 모델 (surrogate models) 로 학습된 ReLU 신경망은 혼합 정수 선형 계획법 (MILPs) 에 정확히 임베드될 수 있어, 학습된 함수에 대한 전역 최적화 (global optimization) 를 가능하게 합니다. 여기서 도출되는 MILP 의 계산 가능성 (tractability) 은 네트워크의 구조적 특성에 의존합니다. 즉, 관련 형식화에서 이진 변수 (binary variables) 의 개수와 연속형 선형 계획법 (LP) 이완 (relaxation) 의 밀접성 (tightness) 입니다. 이러한 속성은 학습 과정에서 결정되지만, 표준 학습 목적 함수 (예: 고전적인 가중치 정규화를 포함한 예측 손실) 는 이를 직접 제어할 메커니즘을 제공하지 않습니다.
이 연구는 하류 MILP 의 계산 가능성을 직접적으로 표적하는 학습 정규화자 (training regularizers) 를 조사합니다. 구체적으로, 우리는 MILP 형식화의 big-M 상수와/또나 불안정 신경망 (unstable neurons) 의 수를 벌점 (penalize) 하는 간단한 경계 기반 (bound-based) 정규화자를 제안합니다. 또한, 훈련 시점에서 연속형 이완의 샘플 당 간극 (gap) 을 명시적으로 벌점하는 LP 이완 간극 정규화자 (LP relaxation gap regularizer) 를 도입합니다. 우리는 이에 상응하는 기울기를 유도하며, 사용자 정의 자동 미분 도구 없이 LP 쌍변수 (dual variables) 에서 구현 방법을 제공합니다.
우리는 위의 정규화자들을 결합하면 네트워크 매개변수에 대한 LP 간극의 전체 도함수 (full total derivative) 를 근사할 수 있음을 보여줍니다. 이는 직접적 민감도와 간접적 민감도를 모두 포착합니다. 비볼록 벤치마크 함수와 양자 신경망 서브로게이트 (quantile neural network surrogates) 를 사용한 2 단계 확률 계획법 (two-stage stochastic programming) 문제에서의 실험 결과, 제안된 정규화자들은 정규화되지 않은 기준선 대비 MILP 해결 시간을 최대 4 차의 크기까지 줄일 수 있음을 보여주었습니다. 동시에 경쟁력 있는 서브로게이트 모델 정확도를 유지했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기