MP3: 시공간 예측을 위한 다중 주기 패턴 사전 학습 (Multi-Period Pattern Pre-training)

시공간 예측 (Spatio-Temporal forecasting)은 교통, 기후, 에너지와 같은 다양한 분야에서 매우 중요합니다. 도시 시공간 데이터는 시간적 신기루 (temporal mirage) 현상을 보입니다. 즉, 유사한 단기 윈도우 (short-window) 입력값이 서로 다른 미래 트렌드를 나타내거나, 그 반대의 경우가 발생합니다. 기존의 시공간 그래프 신경망 (STGNNs)은 이러한 신기루를 효과적으로 식별하지 못합니다. 우리는 그 핵심 원인이 불완전한 주기 관측, 이질적인 전역 공간 상관관계 (heterogeneous global spatial correlation), 그리고 주기 간 중첩 인과관계 (cross-period superposition causality)를 가진 단기 윈도우 입력에 있다고 주장합니다. 이 격차를 해소하기 위해, 우리는 시간적 신기루를 구별하기 위한 플러그 앤 플레이 (plug-and-play) 방식의 사전 학습 플러그인인 MP3 (Multi-Period Pattern Pre-training)를 개발했습니다. MP3는 두 가지 핵심 혁신을 제시합니다: (1) 다중 주기 패턴 학습 (multi-period pattern learning)은 긴 시계열로부터 다중 주기 패턴을 학습하도록 설계되었습니다. 구체적으로, 다중 주기 시간 모델링 (multi-period temporal modeling)은 엣지 컨볼루션 (edge convolution)을 활용하여 서로 다른 다중 주기 패턴을 식별합니다. 다중 주기 공간 모델링 (multi-period spatial modeling)은 병목 투영 (bottleneck project)과 전역 메모리 뱅크 (global memory bank)를 사용하여 이질적인 전역 공간 관계를 효율적으로 포착합니다. 주기 간 패턴 상호작용 (Cross-period pattern interaction)은 인과관계 강화 Transformer (causality-enhanced Transformer)를 채택하여 서로 다른 주기 패턴 간의 의존성을 포착합니다. (2) 이 플러그인은 기존의 STGNN 백본 (backbones)에 원활하게 통합되어 예측 성능을 강화할 수 있습니다. 5개의 실제 데이터셋(대규모 데이터셋 CA 포함)에 대해 5개의 STGNN 베이스라인 (baselines)을 대상으로 진행한 실험을 통해 MP3의 효과성, 우수한 확장성 및 강력한 적응성을 검증하였으며, MP3는 평가된 모든 베이스라인에서 일관되고 견고한 성능 향상을 가져왔습니다. 평균적으로 MP3는 MAE를 4.7%, RMSE를 5.0% 감소시켰습니다. 코드는 https://github.com/YAN-outlook/MP3 에서 확인할 수 있습니다.