KairosHope: 이중 메모리 아키텍처를 통한 특화된 분류를 위한 차세대 시계열 파운데이션 모델
요약
KairosHope는 시계열 분류 작업의 효율성과 정밀도를 높이기 위해 설계된 차세대 시계열 파운데이션 모델(TSFM)입니다. 이 모델은 이차 어텐션의 병목 현상을 해결하기 위해 단기 유지를 위한 Titans 모듈과 장기 문맥을 위한 연속 메모리 시스템(CMS)으로 구성된 이중 메모리 아키텍처를 도입했습니다. 또한 결정론적 통계 특징과 깊은 잠재 표현을 결합하여 센서 데이터 및 인간 활동 인식 분야에서 뛰어난 성능을 보여줍니다.
핵심 포인트
- 이중 메모리 아키텍처(Titans 및 CMS)를 통해 어텐션 계산 병목 현상 해결
- 결정론적 통계 특징과 잠재 표현을 결합한 하이브리드 결정 헤드 도입
- MTSM과 대조 학습을 결합한 자기 지도 사전 학습 방식 채택
- LP-FT 프로토콜을 통해 미세 조정 시 발생하는 파괴적 망각 방지
- 인간 활동 인식(HAR) 및 센서 데이터 도메인에서 높은 성능 입증
시계열 파운데이션 모델 (Time Series Foundation Models, TSFMs)은 범용 예측 작업에서 주목할 만한 성공을 보여주었습니다. 하지만 특화된 분류 문제에 대한 적응은 표준 어텐션 (Attention)의 계산 병목 현상과 고전적 통계 지식의 체계적 누락으로 인해 여전히 제약을 받고 있습니다. 본 기술 보고서는 분류 작업에서 대규모 일반화와 분석적 정밀도를 조화시키도록 설계된 차세대 TSFM인 KairosHope를 소개합니다. 제안된 모델의 핵심은 HOPE 블록으로, 이는 이차 어텐션 (Quadratic Attention)을 이중 메모리 시스템으로 대체하는 아키텍처입니다. 즉, 동적인 단기 유지를 위한 Titans 모듈과 장기적 역사적 문맥의 추상화를 위한 연속 메모리 시스템 (Continuum Memory System, CMS)으로 구성됩니다. 귀납적 편향 (Inductive Bias)을 풍부하게 하기 위해, 깊은 잠재 표현 (Deep Latent Representations)과 tsfeatures 패키지를 통해 추출된 결정론적 통계 특징을 결합하는 하이브리드 결정 헤드 (Hybrid Decision Head)가 도입되었습니다. KairosHope는 Masked Time Series Modeling (MTSM)과 대조 학습 (Contrastive Learning, InfoNCE)을 결합하여 방대한 Monash 아카이브에서 자기 지도 사전 학습 (Self-supervised Pre-training)을 거칩니다. 이후 UCR 벤치마크 데이터셋에 대한 적응은 파괴적 망각 (Catastrophic Forgetting)을 방지하기 위해 엄격한 선형 프로빙 및 전체 미세 조정 (Linear Probing and Full Fine-Tuning, LP-FT) 프로토콜을 통해 수행됩니다. 실증적 결과는 인간 활동 인식 (Human Activity Recognition, HAR) 또는 센서 데이터와 같이 엄격한 시간적 인과 관계가 특징인 도메인에서 우수한 성능을 입증합니다. 결과적으로, KairosHope는 시계열 분석에 대한 파운데이션 모델의 적응을 위한 강력하고 효율적인 프레임워크를 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기