ChronoVAE-HOPE: 어텐션을 넘어 — 특화된 시계열 분류를 위한 차세대 VAE 파운데이션 모델 (Foundation Model)

시계열 파운데이션 모델 (Time Series Foundation Models, TSFMs)은 일반적인 시계열 예측 분야에서 최첨단 기술의 새로운 구성 요소가 되었습니다. 그러나 이를 특화된 분류 작업에 적응시키는 것은 서로 연결된 두 가지 과제로 인해 여전히 제약을 받고 있습니다: 표준 어텐션 (Attention) 메커니즘의 이차 비용 (Quadratic cost) 문제와 시계열 변동성의 근저에 있는 구조적 구성 요소를 분리(Disentangle)하지 못하는 문제입니다. 본 기술 보고서는 대규모 일반화 성능과 시계열 분류를 위한 구조화된 잠재 표현 (Latent representation)을 결합한 차세대 TSFM인 ChronoVAE-HOPE를 소개합니다. 제안된 모델의 핵심은 HOPE 블록 (HOPE Block)을 기반으로 구축된 변이형 오토인코더 (Variational Autoencoder, VAE) 프레임워크로, 이는 이차 어텐션을 두 가지 메모리 시스템으로 대체합니다: 동적인 단기 보존을 위한 Titans 모듈과 장기적 역사적 문맥의 추상화를 위한 연속 메모리 시스템 (Continuum Memory System, CMS)입니다. 주요 아키텍처의 참신함은 분리된 잠재 공간 (Disentangled latent space)으로, 이는 전용 인코더 헤드 (Encoder heads)와 별도의 디코더 경로 (Decoder pathways)를 통해 표현을 독립적인 추세 (Trend) 및 계절성 (Seasonal) 구성 요소로 인수분해합니다. ChronoVAE-HOPE는 Monash 아카이브에서 자기지도 사전 학습 (Self-supervised pre-training)을 수행하며, 마스크 시계열 모델링 (Masked Time Series Modeling, MTSM) 보조 목적 함수와 분리된 VAE 재구성 손실 (Reconstruction loss)을 결합합니다. 사전 학습된 인코더는 이후 동결(Frozen)되어 UCR 벤치마크 데이터셋의 다운스트림 분류를 위한 고정 길이 임베딩 (Embeddings)을 생성하는 데 사용됩니다. 실험 결과는 다양한 시간적 도메인, 특히 엄격한 인과 구조 (Causal structure)가 특징인 환경에서 강력한 성능을 입증합니다. ChronoVAE-HOPE는 구조화된 생성적 표현 (Generative representations)을 통해 파운데이션 모델을 시계열 분류에 적응시키기 위한 견고하고 해석 가능한 프레임워크를 구축합니다.