Trio: 시공간-샘플 어텐션(Temporal-Spatial-Sample Attention) 및 구조적 인과 사전 지식(Structural

다변량 시계열 예측(Multivariate time-series forecasting)은 모델이 시간적 역학(temporal dynamics), 변수 간 의존성(cross-variable dependencies), 그리고 과거의 입출력 대응 관계(historical input-output correspondences)를 추론할 것을 요구합니다. 최근의 사전 데이터 적합 네트워크(Prior-Data Fitted Networks, PFNs)는 합성 작업(synthetic tasks)이 전이 가능한 추론 동작(transferable inference behavior)을 학습하는 데 유용할 수 있음을 시사합니다. 그러나 시간적 순서(temporal order), 동적 시차(dynamic lags), 그리고 반복되는 과거 패턴(recurring historical patterns)은 일반적인 정형 데이터 사전 지식(tabular priors)에 의해 자연스럽게 포착되지 않기 때문에, 이 패러다임을 시계열 예측에 직접적으로 전이하는 것은 여전히 어렵습니다. 이러한 관찰에 착안하여, 우리는 시공간-샘플 어텐션(Temporal-Spatial-Sample attention)에 기반한 샘플 인지형 시계열 예측 아키텍처인 Trio를 제안합니다. 시간 어텐션(Temporal attention)은 윈도우 내 역학(within-window dynamics)을 포착하고, 공간 어텐션(spatial attention)은 변수 간 의존성(inter-variable dependencies)을 모델링하며, 샘플 어텐션(sample attention)은 현재 예측을 가이드하기 위해 관련 있는 과거의 룩백-미래 쌍(lookback-future pairs)을 검색합니다. 완전하게 일반적인 PFN 스타일의 예측기를 주장하기보다는, 우리의 목표는 과거의 입출력 예시들이 예측 모델 내에서 어떻게 명시적으로 조직되고 재사용될 수 있는지를 연구하는 것입니다. 나아가 우리는 동적 시차(dynamic lags), 변수 간 상호작용(cross-variable interactions), 노이즈(noise), 피드백(feedback), 그리고 분포 드리프트(distributional drift)를 포함하는 구조화된 합성 예측 작업을 생성하기 위해 시계열 구조적 인과 모델(Time-Series Structural Causal Model, TS-SCM) 생성기를 도입합니다. 합성, 산업 및 공개 벤치마크에 대한 실험 결과, 제안된 아키텍처가 예측 성능을 향상시킴을 보여줍니다. 탐색적인 제로샷(zero-shot) 실험은 TS-SCM으로 생성된 작업이 유용한 구조적 사전 지식(structural priors)을 제공할 수 있음을 시사하는 한편, 완전하게 일반적인 PFN 스타일의 시계열 예측은 여전히 미해결 과제로 남아 있음을 보여줍니다.