고차 푸리에 신경 연산자 (Higher-Order Fourier Neural Operator): 비선형 편미분 방정식 (PDEs)을 위한

신경 연산자 (Neural operators)는 함수 공간 (function spaces) 사이의 매핑을 학습하기 위한 심층 신경망을 제공합니다. 그중에서도 푸리에 신경 연산자 (Fourier Neural Operator, FNO)는 특히 효과적입니다. FNO의 스펙트럼 컨볼루션 (spectral convolution)은 저차원 푸리에 도메인 (Fourier-domain) 표현에 의존하며, 서로 다른 해상도의 입력을 처리할 수 있습니다. 이러한 설계는 푸리에 기저 (Fourier basis)가 기저 연산자를 대각화하는 설정, 예를 들어 푸리에 모드 (Fourier modes)가 독립적으로 진화하는 주기적 도메인 상의 선형 및 상수 계수 편미분 방정식 (PDEs)과 잘 부합합니다. 그러나 비선형 편미분 방정식 (nonlinear PDEs)은 다항식 비선형성 (polynomial nonlinearities)에 의해 지배되는 모드 간의 구조화된 상호작용을 나타내므로, 추가적인 귀납적 편향 (inductive bias)으로부터 이득을 얻을 수 있습니다. 이러한 귀납적 편향을 포착하기 위해, 우리는 비선형 편미분 방정식 (nonlinear PDEs)의 역학 (dynamics)에 맞추어 FNO를 대각 모듈레이션 (diagonal modulation)에서 명시적인 n-선형 모드 믹싱 (n-linear mode mixing)으로 확장하는 스펙트럼 믹서인 고차 스펙트럼 컨볼루션 (Higher-Order Spectral Convolution)을 도입합니다. 표준 벤치마크에 대한 실험 결과, 제안된 고차 FNO (Higher-Order FNO, HO-FNO)는 FNO 기반 아키텍처의 효율성을 유지하면서 다른 스펙트럼 신경 연산자 (spectral neural operators)보다 일관되게 성능을 향상시킴을 보여줍니다. 또한 HO-FNO는 여러 데이터셋에서 최첨단 트랜스포머 (transformers) 및 상태 공간 모델 (state-space models)과 대등하거나 더 나은 성능을 보이며, 특히 다항식 강제 항이 있는 푸아송 방정식 (Poisson equation)과 같이 고도의 비선형 영역에서 더 강력한 이득을 보입니다. 이 경우 단일 HO-FNO 레이어가 최대 16개의 레이어를 가진 FNO 모델보다 뛰어난 성능을 발휘합니다. 재현성을 위해 코드를 다음 주소에 오픈 소스로 공개합니다: https://github.com/AlexColagrande/HO-FNO.