전이 연산자 근사를 위한 무작위 신경망의 최적화

RaNNDy는 복잡한 동역학계 (dynamical systems)와 관련된 전이 연산자 (transfer operators)의 데이터 기반 근사를 위한 무작위 신경망 (randomized neural network) 구조입니다. 네트워크 은닉층 (hidden layers)의 가중치 (weights)와 편향 (biases)은 무작위로 초기화되어 고정된 상태를 유지하며, 오직 출력층 (output layer)만이 학습됩니다. 이는 완전히 최적화된 신경망 (fully optimized neural networks)에 비해 몇 가지 장점을 가지는데, 특히 출력층에 대한 폐형 해 (closed-form solution)를 제공하며 학습 비용이 현저히 낮다는 점입니다. 이러한 장점에도 불구하고, RaNNDy는 연산자 근사에 필요한 기저 함수 (basis functions)를 매개변수화하는 가중치와 편향의 초기 선택에 제한을 받습니다. 기저 함수는 활성화 함수 (activation function)에 의해 결정되므로, 은닉층을 위한 적절한 활성화 함수를 선택하는 것이 매우 중요합니다. 본 연구에서는 무작위 신경망의 가중치와 편향은 고정한 채 활성화 함수 자체를 최적화하여 더욱 적합한 사전 (dictionary)을 제공하는 알고리즘을 제안합니다. 우리는 확률 미분 방정식 (stochastic differential equations)과 그래프론 (graphons) 상의 무작위 보행 (random walks)을 포함한 다양한 벤치마크 문제를 사용하여 이 접근 방식의 효능을 입증합니다.