사전 학습 배당금의 정량화: 시계열 파운데이션 모델을 위한 생성적(Generative) 대 잠재적(Latent) 자기지도

비전(Vision) 및 자연어 처리(NLP) 분야에서 자기지도 학습 (Self-Supervised Learning, SSL)의 성공은 시계열 (Time Series) 분야에서의 빠른 도입을 촉진했습니다. 그러나 기존 연구는 주로 생성적 (Generative) 패러다임과 예측 (Forecasting) 작업에 집중되어 있어, 학습된 표현 (Representations)의 더 넓은 유용성은 정량화되지 않은 상태로 남아 있습니다. 본 연구에서는 다양한 시계열 작업 전반에 걸쳐 SSL이 더해주는 가치인 '사전 학습 배당금 (Pre-training dividend)'을 평가하기 위한 통제된 프레임워크를 구축합니다. 우리는 생성적 (Generative) 패러다임을 잠재 정렬 (Latent Alignment) 아키텍처와 체계적으로 비교하며, 시계열을 위한 LeJEPA 및 DINO의 변형 모델을 도입합니다. 이러한 변형 모델들은 국소적 변동 (Local fluctuations)에 대한 불변성 (Invariance)을 강제하기 위해 이산 웨이브릿 변환 (Discrete Wavelet Transform, DWT) 증강을 활용합니다. 우리의 분석 결과, 사전 학습 배당금은 매우 비대칭적임을 보여줍니다. 즉, SSL은 이상 탐지 (Anomaly detection) 및 분류 (Classification) 작업에서 최대 375%의 이득을 제공하지만, 예측 (Forecasting) 작업에서는 미미한 수준에 머뭅니다. 우리는 표현의 유용성이 보편적이지 않으며, 작업에 필요한 특정 신호 해상도 (Signal resolution)가 목적 함수와 일치해야 하는 정밀도-불변성 트레이드오프 (Precision-invariance trade-off)에 의해 결정된다는 것을 입증합니다. 마지막으로, 표현의 품질은 데이터의 출처와 크게 무관하며 중간 정도의 아키텍처 깊이에서 포화 (Saturates)된다는 것을 보여줌으로써, 대규모 합성 데이터 생성 (Massive synthetic generation)을 통한 확장 경로를 제시합니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/noammajor/Models