시계열 모델에 왜 긴 컨텍스트 윈도우 (Long Context Windows)가 필요한가?

시계열 그룹을 예측하기 위한 현대의 딥러닝 (Deep Learning) 모델들은 점점 더 길어지는 관측 윈도우 (Observation Windows)에 의존하고 있습니다. 하지만 윈도우 크기를 키움으로써 얻는 이점은 흔히 단순히 장기 의존성 (Long-range Dependencies)을 포착하는 능력 덕분이라고만 여겨져 왔으며, 글로벌 예측 모델 (Global Forecasting Models)이 입력 관측치를 어떻게 활용하는지에 대한 폭넓은 논의는 제한적이었습니다. 본 논문에서 우리는 시계열 그룹을 예측하는 것이 두 가지 목표를 포함하고 있음을 보여줍니다: (i) 생성 과정 식별 (Generative Process Identification, GPI), 즉 입력 시퀀스를 생성하는 특정 과정을 추론하는 것, 그리고 (ii) 조건부 예측 (Conditional Forecasting, CF), 즉 입력 관측치가 주어졌을 때 미래 값을 예측하는 것입니다. 이러한 관점에서 볼 때, 최적의 예측은 입력 윈도우가 주어졌을 때의 가능도 (Likelihood)에 따라 가중치가 부여된, 그럴듯한 데이터 생성 과정 (Data-generating Processes)들의 평균으로 해석될 수 있습니다. 이는 긴 컨텍스트 윈도우 (Long Context Windows)의 이점에 대한 또 다른 설명을 제시합니다: 즉, 운영 중에 어떤 특정 과정이 입력 시계열을 생성하고 있는지에 대한 불확실성을 줄여준다는 것입니다. 우리는 메모리 길이(Memory Length)가 $P$인 과정에 대해서도, 달성 가능한 최소 오차를 얻기 위해서는 $P$보다 엄격히 큰 입력 윈도우 크기가 필요함을 증명합니다. 마지막으로, GPI와 CF를 분리(Decoupling)함으로써 정확도를 저해하지 않으면서도 계산 확장성 (Computational Scalability)을 어떻게 개선할 수 있는지 보여줍니다. 합성 데이터 (Synthetic Data) 및 실제 데이터 (Real-world Data)에 대한 실험을 통해 우리의 통찰과 예측 아키텍처 (Forecasting Architectures) 설계에 대한 관련성을 검증합니다.