Falcon-X: 이질적 다변량 모델링을 위한 시계열 파운데이션 모델 (Time Series Foundation Model)

시계열 파운데이션 모델 (Time Series Foundation Models, TSFMs)은 대규모 교차 도메인 사전 학습 (cross-domain pretraining)을 통해 예측 패러다임을 변화시키고 있습니다. 그러나 기존의 대부분의 TSFM은 단변량 (univariate) 상태로 남아 있으며, 최근의 교차 변수 (cross-variate) 모델링을 가능하게 하려는 노력들은 여전히 원시 변수 공간 (raw variate space) 내에서 직접 작동합니다. 이러한 설계는 의미론적 정렬 (semantic alignment) 및 관계적 표현력 (relational expressivity) 측면에서 근본적인 한계를 초래합니다. 구체적으로, 원시 공간에서의 그룹 혼합 (group mixing)은 이질적인 물리량 (heterogeneous physical quantities)을 정렬하기 위한 전용 메커니즘이 부족하며, 표준적인 비음수 어텐션 (non-negative attention)은 실제 시스템에 도처에 존재하는 복잡한 시너지 및 길항 작용 (synergistic and antagonistic interactions)을 포착하는 데 실패합니다.

이러한 과제를 해결하기 위해, 우리는 변수를 원시 공간에서 분리하여 통일된 잠재 프로토타입 공간 (unified latent prototype space)으로 매핑하는 Falcon-X를 제안합니다. Falcon-X는 이질적인 변수들을 명시적으로 정렬하기 위해 양의 의미론적 친화도 (positive semantic affinities)와 음의 의미론적 친화도 (negative semantic affinities)를 모두 명시적으로 평가하는 통일된 프로토타입 디프-어텐션 (Unified Prototype Diff-Attention) 메커니즘을 채택합니다. 이후 교차 변수 상호작용은 잠재 엔티티 어텐션 (Latent Entity Attention)을 통해 이 공유 공간 내에서 효율적으로 수행되며, 이는 자연스럽게 제로샷 구조적 전이 (zero-shot structural transfer)를 촉진합니다. 마지막으로, 변수 재조립 라우터 (Variate Reassembly Router)는 요청 및 발송 (request-and-dispatch) 메커니즘을 통해 변수별 궤적 (variate-specific trajectories)을 견고하게 재구성합니다.

GIFT-Eval 및 fev-bench 벤치마크에 대한 광범위한 평가 결과, Falcon-X는 최첨단 (state-of-the-art) 예측 성능을 달성하였으며, 복잡한 다변량 환경을 위한 원칙적이고 확장 가능한 패러다임을 제공함을 입증했습니다. Falcon-X는 향후 연구를 지원하기 위해 공개적으로 출시되었습니다.