Teacher Forcing as Generalized Bayes: Chaotic Dynamics 의 Switching Surrogates

Identity teacher forcing (ITF) 은 혼돈적 동역학 시스템에 대한 결정론적 반복 대리 모델 (recurrent surrogates) 의 안정적 훈련을 가능하게 하며, 해석 가능한 거의 선형 반복 신경망 (interpretable almost-linear RNNs, AL-RNNs) 을 포함한 반복 신경망 (RNNs) 을 활용한 동역학 시스템 재구성 (dynamical systems reconstruction, DSR) 에서 매우 효과적이었습니다. 그러나 Teacher forcing 은 개입 기반 예측 손실 (intervention-based prediction loss) 이며 따라서 일반화된 Bayes 업데이트이므로, free-running 모델의 marginal likelihood 기하학과 반드시 일치할 필요는 없습니다. 우리는 Louis' identity 를 통해 ambiguity-aware observed information 을 추정하며, AL-RNNs 의 확률적 switching augmentation 에서 ITF 와 marginal likelihood 의 목적함수 유도 곡률 (objective-induced curvatures) 을 비교합니다. 여기서 연구하는 switching 설정에서 ITF 가 수행하는 단일 forced regime 경로에 대한 조건부 설정 (conditioning) 은 곡률을 부풀리지만, 여러 switching 설명이 여전히 타당할 때 marginal likelihood 곡률은 missing-information correction 에 의해 감소합니다. Lorenz-63 실험에서 windowed evidence fine-tuning 은 held-out 증거를 개선하지만, ITF-pretrained 모델에 비해 관심 동역학 양 (quantities of interest, QoIs) 을 저하시킬 수 있습니다.