OrthoReg: 하이브리드 심볼릭-뉴럴 동역학 시스템을 위한 직교 정규화 (Orthogonal Regularization)

동역학 시스템 (Dynamical systems)은 자연계를 모델링하는 데 필수적이지만, 이를 모델링하는 과정에는 지속적인 트레이드오프 (trade-off)가 존재합니다. 수동으로 규정된 메커니즘 모델 (mechanistic models)은 설계상 해석 가능하지만 종종 지나치게 단순하거나 잘못 지정(misspecified)되는 경향이 있는 반면, 유연한 데이터 기반 뉴럴 방법론 (data-driven neural methods)은 물리적 통찰력이 부족합니다. 하이브리드 모델링 (Hybrid modeling)은 규정된 또는 심볼릭한 (symbolic) 물리 기반 구성 요소와 유연한 신경망 (neural network)을 결합함으로써 두 세계의 장점을 모두 취하는 것을 목표로 합니다. 그러나 중요한 과제는, 특히 심볼릭 구조 자체가 데이터로부터 발견될 때, 뉴럴 구성 요소가 메커니즘의 일부를 다시 학습하여 중복되고 해석 불가능한 모델을 생성할 수 있다는 점입니다. 표준 $L^2$ 정규화 (regularization)에 기반한 기존 방법들은 투영 논리 (projection argument)에 의존하지만, 이는 심볼릭 구성 요소가 희소 발견 (sparse discovery)을 통해 학습될 때 무너져 뉴럴 증강 (neural augmentation)이 심볼릭 구조와 겹치게 만듭니다. 우리는 심볼릭 구성 요소와 뉴럴 구성 요소 사이의 중복을 직접적으로 페널티 (penalize)하여, 심볼릭 구조가 뉴럴 잔차 (neural residual)에 흡수되는 것을 방지하는 \textbf{OrthoReg} (Orthogonal Regularization, 직교 정규화)를 소개합니다. 이를 통해 상호 보완적인 분해 (decomposition)가 이루어집니다. 즉, 심볼릭 부분은 라이브러리 (library)가 표현할 수 있는 것을 포착하고, 뉴럴 부분은 남은 부분을 포착합니다. 부분적인 라이브러리 불일치 (library mismatch)가 있는 벤치마크 동역학 시스템에서, OrthoReg는 심볼릭 회복 (symbolic recovery) 및 분포 외 (out-of-distribution) 동작을 개선합니다.