강건한 초장기 시계열 예측을 위한 분포 인식 확산-LLM (Distribution-Aware Diffusion-LLM)

시계열 예측 (Time series forecasting)은 기본적인 머신러닝 (Machine learning) 작업입니다. 최근 연구들은 강력한 일반화 (Generalization), 패턴 인식 (Pattern recognition), 그리고 제로샷 (Zero-shot) 또는 퓨샷 (Few-shot) 능력 덕분에 이 목적을 위한 거대 언어 모델 (Large Language Models, LLMs)을 탐색해 왔습니다. 긴 문맥 학습 (Long-context learning)에 적합함에도 불구하고, LLM은 멀티모달 (Multimodal) 설정에서 어려움에 직면해 있습니다. 즉, 비텍스트 데이터에 대한 보정된 확률적 모델링 (Calibrated probabilistic modeling)이 부족하며, 이질적인 표현 (Heterogeneous representations)을 정렬하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 조건부 확산 모델 (Conditional diffusion model)을 LLM 기반 예측 파이프라인에 통합하는 새로운 프레임워크인 Diffusion-LLM을 제안합니다. 이러한 공동 설계는 공유된 잠재 공간 (Latent space)에서 의미론적 정렬 (Semantic alignment)을 개선하는 동시에 미래 데이터의 조건부 분포 (Conditional distribution)를 학습할 수 있게 합니다. 우리는 ETT, Weather, ECL을 포함한 6개의 장기 예측 벤치마크에서 Diffusion-LLM을 평가합니다. 우리의 방법은 기존의 LLM 기반 베이스라인 (Baseline)을 일관되게 능가하며, 초장기 (Ultra-long-term) 및 퓨샷 (Few-shot) 예측에서 주목할 만한 이득을 달성하였고, 시계열 LLM의 강건성 (Robustness)과 일반화 (Generalization)를 향상시키기 위한 분포 인식 정규화 (Distribution-aware regularization)의 가치를 입증했습니다.