시계열 모델링에는 동역학계 (Dynamical Systems) 관점이 필요합니다

요약

시계열(TS) 모델링의 발전을 위해 동역학계(Dynamical Systems) 관점을 도입해야 한다는 ICML 2026 포지션 페이퍼를 소개합니다. 단순 예측을 넘어 시스템의 근저에 있는 동역학적 규칙을 이해함으로써 도메인 외 일반화와 장기 예측 성능을 높이는 방안을 제안합니다.

핵심 포인트

동역학계 재구성(DSR)을 통한 도메인 외 일반화 및 장기 행동 예측 가능성 확보
DSR 특화 학습 기술 및 목적 함수를 통한 모델 복잡도 감소와 통계적 특성 포착
인위적 함수가 아닌 동역학계 시뮬레이션을 통한 자연스러운 사전 학습(Pretrain) 필요
트랜스포머 대신 시간적 재귀를 잘 포착하는 현대적 RNN 구조의 중요성 강조
위상적 변화 및 임계점 등 동역학적 체제 변화를 다루는 모델링의 필요성

우리의 #ICML2026 포지션 페이퍼(position paper)에서 우리는 시계열 (TS) 모델링을 발전시키기 위해 동역학계 (Dynamical Systems, DS) 관점이 필요하다고 주장합니다: https://arxiv.org/abs/2602.16864

본질적으로 자연계와 공학계의 모든 시계열은 어떤 근저에 있는 동역학계 (DS)로부터 발생하며, 복잡한 시스템의 경우 대부분 혼돈 (chaotic) 상태입니다. 이를 인정하는 것은 많은 미해결 문제들을 해결하는 데 도움이 됩니다.

동역학계 재구성 (Dynamical Systems Reconstruction, DSR)은 단순한 예측을 넘어 관찰된 시계열의 근저에 있는 동역학적 규칙에 대한 이해를 제공합니다. 이는 결과적으로 현재의 TS 모델들이 할 수 없는 진정한 도메인 외 일반화 (out-of-domain generalization)와 시스템의 장기적 행동 예측을 가능하게 할 수 있습니다. 논문에서 우리는 단기 및 장기 예측과 관련하여, 시계열 (TS) 및 동역학계 재구성 (DSR)을 위한 다양한 맞춤형 학습 모델과 최신 파운데이션 모델 (foundation models)을 비교합니다.

구체적으로, 우리는 다음과 같이 제안합니다:

일반화된 교사 강제 (generalized teacher forcing, https://proceedings.mlr.press/v202/hess23a.html)와 같은 DSR 특화 학습 기술 및 목적 함수에 TS 모델 학습의 초점을 맞추어야 합니다. 이를 통해 장기적인 통계적 특성과 동역학적 구조를 포착할 수 있으며, 동시에 TS 모델의 파라미터 부하와 복잡성을 대폭 줄이는 데 도움이 될 것입니다. 적절한 학습은 모델 아키텍처보다 더 중요합니다!
인위적으로 생성된 시계열 함수가 아닌, 동역학계 (DS)의 시뮬레이션을 통해 TS 모델을 사전 학습 (Pretrain)해야 합니다. 이는 실제 세계의 TS에 대해 훨씬 더 자연스러운 사전 확률 (priors)을 제공할 것입니다. 특히 혼돈 (Chaotic) 시스템은 풍부한 시간적 구조와 많은 시간 척도 (timescales)를 포함하고 있습니다 (종종 모든 주기를 가진 불안정한 주기 궤도 (unstable periodic orbits)의 무한한 골격 형태를 띱니다).
트랜스포머 (transformers)에서 벗어나 현대적인 RNN으로 돌아가야 합니다. 동역학계 (DS)는 시간상의 재귀 (recursions)에 의해 정의됩니다. 트랜스포머는 이를 무시하고 신호를 잠재적으로 더욱 거칠게 만드는 (coarse-graining) 경향이 있어 필수적인 동역학적 정보를 놓치게 되며, 이로 인해 일반적으로 시스템의 동역학적 규칙을 포착할 수 없게 됩니다. 이는 동역학계 (DS)의 장기적인 통계적 또는 기하학적 구조를 예측하는 데 실패한다는 점을 통해 입증됩니다.
시계열 (TS) 모델링의 난제들을 다루십시오: 위상적 변화 (Topological shifts) (https://proceedings.mlr.press/v235/goring24a.html). 그 자체로 까다롭긴 하지만, 시계열 예측에서 정말 어려운 문제는 단순한 분포 외 변화 (out-of-distribution shifts)라기보다, 시스템을 임계점 (tipping points) 너머로 몰아넣거나 벡터장 위상 (vector field topology)이 변하는 서로 다른 동역학적 체제 (dynamical regimes)로 이끄는 변화입니다.
어트랙터 (attractors)나 분기 (bifurcations)와 같은 동역학계 (DS)의 특성들은 보편적입니다. 시계열 모델링에서 이를 인정하는 것은 특정 (물리적, 의료적, ...) 도메인 지식에 의존하지 않고도 시계열 특성에 대한 일종의 기계론적이고 전이 가능한 (transferable) 이해를 제공할 것입니다. 따라서 수학적으로 다루기 쉽고 해석 가능한 (interpretable) 모델에 집중하는 것도 가치가 있습니다.

공동 저자 및 협력자들인 Christoph Hemmer, Charlotte Doll, Lukas Eisenmann & Florian Hess와 함께했습니다!
/u/DangerousFunny1371 에 의해 r/MachineLearning 에 제출됨
[link] [comments]

AI 자동 생성 콘텐츠

원문 바로가기

시계열 모델링에는 동역학계 (Dynamical Systems) 관점이 필요합니다

요약

핵심 포인트

댓글