Mistral AI의 Timestral: 시계열 기반 모델 소개

https://preview.redd.it/zyoo32u7hnvh1.png?width=1400&format=png&auto=webp&s=f0dc824a831d10abc6b824afabb98c64e7fa9d40 Mistral에서 제공: Timestral은 제로샷(zero-shot) 예측을 위한 시계열 기반 파운데이션 모델 제품군으로, 5M, 28M, 123M, 그리고 209M 매개변수 버전이 있습니다. 이 저장소에는 209M 체크포인트가 포함되어 있습니다. Timestral은 단변량(univariate) 및 다변량(multivariate) 예측, 과거 전용(past-only) 및 알려진 미래 공변량(known-future covariates), 그리고 21개 분위수(quantiles)에 걸친 확률적 예측을 지원합니다. 최대 32,768개의 과거 시계열 단계(historical time steps)를 수용하며 단일 순방향 패스(forward pass)에서 최대 1,024단계까지 예측할 수 있습니다. Timestral 사용이 쉽고 벤치마크 결과를 재현할 수 있도록 소스 코드를 GitHub 저장소에 공개합니다.

모델 상세 정보
사이즈: 209M 매개변수.
아키텍처: 시간 어텐션(time attention) 및 변량 어텐션(variate attention)을 갖춘 패치 기반 트랜스포머(patch-based transformer), 24 레이어, 임베딩 차원 768. 패치화: 패치당 32개 시계열 단계. 각 패치는 해당 값과 누락값 지표(missing-value indicators)를 함께 임베딩합니다.
컨텍스트 길이: 최대 32,768개 시계열 단계 (1,024 패치).
예측 범위(Forecast horizon): 단일 순방향 패스에서 최대 1,024개 시계열 단계 (32 패치). 더 긴 예측 범위는 블록 단위로 예측되며, 각 블록의 중앙값 예측이 컨텍스트에 추가됩니다.
출력: 21개 분위수 (0.01, 0.05, 0.1, 0.15, …, 0.85, 0.9, 0.95, 0.99).
입력: 단변량 또는 다변량 대상 변량(target variates), 그리고 과거 전용 및 알려진 미래 공변량(covariates) (수치형 또는 범주형; 범주형 공변량은 타겟 인코딩(target-encoded)됩니다). 누락값은 NaN으로 표시됩니다.
추론: CPU 또는 GPU에서 PyTorch 사용.
https://huggingface.co/mistralai/Timestral-209M
https://huggingface.co/mistralai/Timestral-123M
https://huggingface.co/mistralai/Timestral-28M
https://huggingface.co/mistralai/Timestral-5M
제출자: /u/jacek2023 [link] [comments]