물리 정보 신경망 (PINNs)을 위한 진화론적 2단계 하이퍼파라미터 최적화 전략

물리 정보 신경망 (Physics-Informed Neural Networks, PINNs)은 물리 법칙을 신경망 학습에 내장함으로써 편미분 방정식 (Partial Differential Equations, PDEs)을 해결합니다. 그러나 물리 정보 손실 함수 (physics-informed loss)의 고도로 비볼록(non-convex)하고 다중 항(multi-term)적인 구조로 인해, PINNs의 성능은 불안정한 수렴, 학습 정체(training plateaus), 그리고 아키텍처 및 최적화 하이퍼파라미터에 대한 강한 민감도로 인해 어려움을 겪습니다. 이러한 환경에서 외곽 루프 (outer-loop) 하이퍼파라미터 탐색은 이질적인 파라미터들에 대한 노이즈가 섞인 블랙박스 최적화 문제이며, 고전적인 지역적(local) 또는 경사 기반 (gradient-based) 전략은 최적해가 아닌 영역 (suboptimal regions)에 쉽게 갇히게 됩니다. 개체군 기반의 탐색 능력과 혼합된 비미분 탐색 공간을 처리할 수 있는 능력을 갖춘 진화 알고리즘 (Evolutionary algorithms)은 유망한 구성을 발견하기 위한 더 강력한 메커니즘을 제공합니다. 본 논문에서는 고정된 계산 예산 하에서 솔루션의 정확도와 강건성 (robustness)을 향상시키기 위해 PINNs 학습의 탐색 (exploration) 및 활용 (exploitation) 부분을 결합한 진화 알고리즘 기반의 2단계 접근 방식을 제안하고 조사합니다. 첫 번째 단계에서는 하이퍼파라미터 선택을 블랙박스 외곽 루프 문제로 취급하여, 후보 구성을 빠르게 선별하기 위해 에포크 (epochs)를 절단한 저충실도 (low-fidelity) 학습을 수행합니다. 두 번째 단계에서는 가장 유망한 후보들만을 표준 경사 기반 최적화 도구로 완전히 학습시켜 솔루션을 정교화합니다. Advection, Klein-Gordon 및 Helmholtz 방정식이라는 세 가지 대중적인 문제에 대해 평가한 결과, 우리의 방법은 표준 학습보다 일관되게 우수한 성능을 보였으며 제한된 계산 자원 내에서 현저히 낮은 평균 오차를 달성했습니다.