비선형 벡터 자기회귀 모델에서의 흐름 맵 학습: 특징 라이브러리 구조가 훈련 오차에 미치는 영향

시계열 예측 (Time series forecasting)은 종종 비선형적이고 시간 지연된 의존성 (time-delayed dependencies)을 학습하는 것을 필요로 합니다. 예측 모델의 전형적인 부류는 차세대 리저버 컴퓨터 (next-generation reservoir computers, NG-RCs)로도 알려진 비선형 벡터 자기회귀 과정 (nonlinear vector autoregressive processes, NVAR)입니다. 이러한 모델들은 명시적인 특징 라이브러리 (feature library)에 의해 생성된 공간 상에서 쿱만 연산자 (Koopman operator)를 근사합니다. 본 연구에서는 마르코프 비선형 동역학계 (Markovian nonlinear dynamical systems)를 학습하기 위한 식별 가능성 (identifiability) 문제를 고려하며, 시간 해상도 (time resolution)의 함수로서의 훈련 오차 (training error)가 특징적인 (전)점근적 스케일링 법칙 (asymptotic scaling laws)을 따른다는 것을 보여줍니다. 이러한 법칙들은 특징 라이브러리가 흐름 맵 (flow map, 전파기/propagator)의 초기 Lie-series 계수들을 정확하게 표현할 수 있는지, 아니면 단지 근사적으로만 표현할 수 있는지에 따라 달라집니다. 다항식 벡터장 (polynomial vector fields)에 의해 지배되는 동역학계의 경우, 단항식 (monomial) 및 푸리에 (Fourier) 특징 라이브러리를 사용하는 NVAR/NG-RC 모델의 메커니즘을 입증합니다. 우리는 훈련 오차가 시간 해상도, 관련된 비선형 차수 (nonlinear degree), 그리고 지연 항 (delay terms)의 수에 따라 어떻게 의존하는지 결정합니다. 지연 항은 최적의 1단계 (one-step) 훈련 오차를 줄여주지만, 라이브러리가 충분한 비선형성을 제공할 때만 장기 예측 (long-horizon forecasts)을 개선합니다. 따라서 모델 클래스가 실제 데이터 생성 과정 (data-generating process)과 일치하지 않을 경우, 작은 훈련 오차는 약한 일반화 (weak generalization)와 공존하게 됩니다. 다양한 카오스 동역학계 (chaotic dynamical systems)에 대한 수치 실험은 이러한 이론적 예측을 확인시켜 줍니다.