CITRAS-FM: 공변량 정보를 활용한 제로샷 예측을 위한 초소형 시계열 파운데이션 모델 (Tiny Time Series Foundation

사전 학습된 시계열 파운데이션 모델 (TSFMs)은 학습되지 않은 대상 시계열에 대한 제로샷 예측 (zero-shot forecasting)을 가능하게 했습니다. 그러나 기존의 TSFMs는 종종 높은 계산 비용을 발생시키고 다양한 변수 유형에 대한 지원이 제한적이며, 대상 변동성에 외생적으로 영향을 미치는 공변량 (covariates)을 고려하지 못하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 실시간 CPU 추론 (inference)과 함께 단변량 (univariate), 다변량 (multivariate), 그리고 공변량 정보를 활용한 제로샷 예측을 지원하는 7M 파라미터 규모의 초소형 TSFM인 CITRAS-FM을 제안합니다. 패치 기반 (patch-based)의 디코더 전용 (decoder-only) Transformer를 기반으로 구축된 CITRAS-FM은 예측 기간 내내 접근 가능한 알려진 공변량을 효과적으로 활용하기 위해 교차 변수 모듈 (cross-variate module)에 시프트 어텐션 (Shifted Attention)을 도입했습니다. 또한, 공변량이 풍부한 코퍼스 (corpora)의 부족에도 불구하고 공변량을 인식하는 사전 학습 (pretraining)을 가능하게 하기 위해, 대상 시계열의 분해된 성분으로부터 현실적인 공변량을 합성하는 CovSynth를 제안합니다. 다양한 설정에 걸친 100개의 태스크를 포함하는 fev-bench에서의 실험 결과, CITRAS-FM은 10M 미만의 TSFM 중에서 최첨단 (state-of-the-art) 제로샷 정확도를 달성하는 동시에 0.1초 미만의 CPU 추론 속도를 제공하여, 예측 정확도와 실시간 배포 가능성 사이의 강력한 균형을 보여주었습니다.