일반화된 PINNs를 위한 모듈성 없는 갈등 회피 학습 (Modularity-Free Conflict-Averse Training)

물리 정보 신경망 (Physics-informed neural networks, PINNs)은 물리 법칙을 미분 가능한 목적 함수 (differentiable objectives)에 내장함으로써 편미분 방정식 (PDEs)을 해결하는 강력한 프레임워크가 되었습니다. 이러한 발전에도 불구하고, PINNs의 학습은 여전히 취약합니다. 최근의 갈등 회피 (conflict-averse) 최적화 기법들은 잔차 손실 (residual loss)과 경계 손실 (boundary loss) 사이의 그래디언트 간섭 (gradient interference)을 완화하지만, 본 논문에서는 모델 용량 (model capacity)이 증가함에 따라 그 효과가 저하됨을 보여줍니다. 본 논문에서 우리는 용량으로 인해 발생하는 실패 모드 (capacity-induced failure mode)를 식별합니다. 이는 과매개변수화된 네트워크 (overparameterized networks)가 기능적 모듈성 (functional modularity)을 겪으며, 작업 전용 모듈 (task-exclusive modules)로 스스로를 분할하여 목적 함수 간의 상호작용을 억제하고 파레토 정지점 (Pareto-stationary points)으로의 수렴을 방해하는 현상입니다. 이 문제를 해결하기 위해, 우리는 상호작용을 촉진하는 경로 (interaction-promoting pathways)는 보존하면서 작업 전용 연결 (task-exclusive connections)에 페널티를 부여함으로써 구조적 최적화 (structural optimization)를 갈등 회피 학습에 통합하는 새로운 프레임워크인 모듈형 희소성 동기화 (Modular-Sparsity Synchronization, ModSync)를 제안합니다. 다양한 PDE 벤치마크에 걸친 광범위한 실험을 통해 ModSync가 용량 기반의 실패를 일관되게 방지하고, 강력한 교차 목적 함수 결합 (cross-objective coupling)을 유지하며, 최첨단 (state-of-the-art) 정확도를 달성함을 입증합니다. 코드는 \url{https://github.com/heejokong/ModSync}에서 확인할 수 있습니다.