동적 시스템 재구성을 위한 순환 신경망의 시간 병렬 훈련

비선형 RNN의 훈련을 효율적으로 병렬화하여, 혼돈계(chaotic systems)에서 나오는 매우 긴 시계열에서도 빠른 수렴을 보장할 수 있을까요? 저희가 #NeurIPS2026 스포트라이트를 통해 발표하는 '동적 시스템(DS) 재구성을 위한 순환 신경망의 시간 병렬 훈련 (Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems (DS) Reconstruction (DSR))' (preprint: https://arxiv.org/abs/2605.12683)에서는 DEER(https://openreview.net/forum?id=E34AlVLN0v)와 일반화된 교사 강제(generalized teacher forcing, GTF)를 결합하여 혼돈 DS의 시계열에 대한 비선형 RNN 훈련 속도를 2자릿수 이상 (>100배) 향상시켰습니다. DEER는 전체 시퀀스 길이 T에 걸쳐 뉴턴 유형 고정점 반복(Newton-type fixed point iterations)을 통해 RNN 순방향 계산(forward pass)을 해결함으로써, 효율적인 GPU 병렬화를 가능하게 하여 O[T] 대신 O[(log T)²]로 확장할 수 있게 합니다. 그러나 혼돈 역학 하에서는 DEER가 작동하지 않아 실행 시간이 OT log T로 저하됩니다. GTF(https://proceedings.mlr.press/v202/hess23a.html)를 사용하면 혼돈 역학으로 인한 발산을 방지하여 DEER를 안정화하고, 상태 공간 모델 훈련에 사용되는 전통적인 교사 강제 대비 노출 편향(exposure bias)을 줄일 수 있습니다. 이 두 메커니즘을 결합함으로써, 극도로 긴 시계열 (T>10⁶)에 대한 효율적인 시간 병렬 및 안정적인 훈련이 가능해지며, DSR 설정에서 Mamba 및 다른 상태 공간 모델들을 크게 능가합니다. submitted by /u/DangerousFunny1371 [link] [comments]