TiRex-2: 다변량 데이터 및 스트리밍으로의 TiRex 확장
요약
TiRex-2는 xLSTM 기반의 시계열 파운데이션 모델로, 단변량 모델을 다변량 및 스트리밍 환경으로 확장했습니다. 재귀적 설계를 통해 스트리밍 상황에서도 일정한 추론 비용을 유지하며, 변수 간 의존성과 미래 공변량을 효과적으로 통합합니다.
핵심 포인트
- xLSTM 기반의 재귀적 설계를 통한 메모리 중심의 효율적 구조
- 스트리밍 환경에서 패치당 일정한 추론 비용 유지
- 양방향 시간 믹서와 비대칭 그룹 어텐션을 통한 인과성 유지
- GIFT-Eval 및 fev-bench에서 SOTA 제로샷 성능 달성
- 합성 결합 파이프라인을 통한 대규모 다변량 사전 학습 지원
우리는 과거 및 미래 공변량(covariates)을 모두 포함하는 다변량 예측(multivariate forecasting)으로 단변량(univariate) TiRex를 일반화한 재귀적 xLSTM 기반 시계열 파운데이션 모델(time series foundation model)인 TiRex-2를 소개합니다. 실제 세계의 예측은 본질적으로 순차적입니다. 관측값은 지속적으로 도착하고, 변수들은 공동으로 진화하며, 공변량의 일부는 사전에 알려져 있습니다. 기존의 Transformer 기반 시계열 파운데이션 모델은 변수 간 의존성(cross-variate dependencies)을 포착하지만, 컨텍스트 길이(context length)에 따라 이차 복잡도(quadratic complexity)를 유발하며 새로운 관측값이 도착할 때마다 전체 이력(full-history)을 재계산해야 합니다. TiRex-2는 스트리밍 상황에서 패치당(per-patch) 일정한 비용으로 작동하는 메모리 중심의 재귀적 설계(memory-centric recurrent design)를 통해 이러한 한계를 해결합니다. 이 모델은 양방향 시간 믹서(bidirectional time mixer)와 비대칭 그룹 어텐션 변수 믹서(asymmetric grouped-attention variate mixer)를 결합하여, 타겟 변수에 대한 엄격한 인과성(causality)을 유지하면서 미래에 알려진 공변량을 통합할 수 있게 합니다. 우리가 알기로는, 이것이 이러한 속성들의 조합을 달성한 최초의 시계열 파운데이션 모델입니다. 확장 가능한 다변량 사전 학습(multivariate pretraining)을 지원하기 위해, 우리는 대규모 단변량 코퍼스(corpora)로부터 다양한 다변량 샘플을 즉석에서 구성하는 합성 결합 파이프라인(synthetic coupling pipeline)을 제안합니다. 실증적으로, TiRex-2는 GIFT-Eval 및 fev-bench에서 최첨단(state-of-the-art) 제로샷(zero-shot) 성능을 달성하며, 임의의 컨텍스트 길이로 스트리밍될 때 안정성을 유지하고, 패치당 일정한 추론 비용을 유지합니다. 이 모델은 단변량 모드에서 38.4M 개의 활성 파라미터(active parameters)를 사용하며, 다변량 예측을 위해 44.1M 개의 파라미터가 추가로 활성화됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기