Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 비텍스트 데이터 확률적 모델링 한계를 극복하기 위해 조건부 확산 모델을 통합한 Diffusion-LLM 프레임워크를 제안합니다. 공유된 잠재 공간을 통해 의미론적 정렬을 개선하며, 초장기 및 퓨샷 시계열 예측 성능을 크게 향상시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기시계열 예측 (Time series forecasting)은 기본적인 머신러닝 (Machine learning) 작업입니다. 최근 연구들은 강력한 일반화 (Generalization), 패턴 인식 (Pattern recognition), 그리고 제로샷 (Zero-shot) 또는 퓨샷 (Few-shot) 능력 덕분에 이 목적을 위한 거대 언어 모델 (Large Language Models, LLMs)을 탐색해 왔습니다. 긴 문맥 학습 (Long-context learning)에 적합함에도 불구하고, LLM은 멀티모달 (Multimodal) 설정에서 어려움에 직면해 있습니다. 즉, 비텍스트 데이터에 대한 보정된 확률적 모델링 (Calibrated probabilistic modeling)이 부족하며, 이질적인 표현 (Heterogeneous representations)을 정렬하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 조건부 확산 모델 (Conditional diffusion model)을 LLM 기반 예측 파이프라인에 통합하는 새로운 프레임워크인 Diffusion-LLM을 제안합니다. 이러한 공동 설계는 공유된 잠재 공간 (Latent space)에서 의미론적 정렬 (Semantic alignment)을 개선하는 동시에 미래 데이터의 조건부 분포 (Conditional distribution)를 학습할 수 있게 합니다. 우리는 ETT, Weather, ECL을 포함한 6개의 장기 예측 벤치마크에서 Diffusion-LLM을 평가합니다. 우리의 방법은 기존의 LLM 기반 베이스라인 (Baseline)을 일관되게 능가하며, 초장기 (Ultra-long-term) 및 퓨샷 (Few-shot) 예측에서 주목할 만한 이득을 달성하였고, 시계열 LLM의 강건성 (Robustness)과 일반화 (Generalization)를 향상시키기 위한 분포 인식 정규화 (Distribution-aware regularization)의 가치를 입증했습니다.