얼마나 많은 메모리가 필요할까? 신경 연산자를 위한 적응형 메모리 게이트

신경 연산자(Neural operators)는 시간 의존적 편미분 방정식(PDEs)을 해결하기 위한 강력한 데이터 기반 접근 방식으로 부상했습니다. 최근 발전된 방법 중, 메모리를 증강한 신경 연산자(memory-augmented neural operators)는 과거 상태를 명시적으로 통합하며 저해상도 관측 환경에서 놀라운 성능을 달성했습니다. 하지만 기존의 접근 방식들은 해상도나 물리적 매개변수와 관계없이 고정된 메모리 가중치를 적용하여 적응성을 제한합니다. 우리의 예비 실험 결과에 따르면, 최적의 메모리 가중치는 해상도 및 점성(viscosity)에 따라 달라지며, 이는 고정된 메모리 가중치가 다양한 환경에서 성능을 동시에 최적화할 수 없음을 시사합니다. 우리는 학습 가능한 게이트를 통해 메모리 가중치를 동적으로 조절하는 AMGFNO를 제안합니다. Kuramoto-Sivashinsky 방정식과 Burgers' 방정식을 사용했을 때, AMGFNO는 저해상도에서 55~79%의 nRMSE 감소를 달성했으며, 학습된 게이트 값은 해상도가 증가함에 따라 $ar{g} ext{가 } ext{약 } 0.7$에서 거의 0으로 자동 감소했습니다.