Relaxation-Informed Training of Neural Network Surrogate Models

요약

본 연구는 신경망 기반 서브로게이트 모델을 혼합 정수 선형 계획법(MILPs)에 통합하여 전역 최적화를 수행할 때, MILP의 계산 가능성을 향상시키는 새로운 학습 정규화자들을 제안합니다. 이 정규화자들은 특히 big-M 상수와 불안정한 뉴런 수를 벌점하거나, 연속형 LP 이완 간극을 명시적으로 최소화하는 방식으로 작동합니다. 실험 결과, 이러한 방법론은 MILP 해결 시간을 크게 단축시키면서도 서브로게이트 모델의 정확도를 유지할 수 있음을 입증했습니다.

핵심 포인트

• 신경망 서브로게이트 모델을 MILPs에 통합하여 전역 최적화 문제를 다룰 수 있습니다.
• 기존 학습 목적 함수는 MILP의 계산 가능성(tractability)을 직접 제어하지 못하는 한계가 있었습니다.
• 제안된 정규화자들은 big-M 상수와 불안정한 뉴런 수를 벌점하거나, LP 이완 간극을 최소화하여 MILP의 계산 가능성을 높입니다.
• 이 방법론은 MILP 해결 시간을 최대 4차까지 줄일 수 있으며, 서브로게이트 모델의 정확도 저하 없이 높은 성능을 보였습니다.