Toto 2.0: 시계열 예측이 스케일링 시대에 진입하다
요약
Toto 2.0은 시계열 예측 분야에서 스케일링 법칙이 적용 가능함을 입증한 파운데이션 모델 제품군입니다. 4M에서 2.5B 파라미터 규모까지 확장 가능한 단일 학습 레시피를 통해 BOOM, GIFT-Eval, TIME 등 주요 벤치마크에서 SOTA 성능을 달성했습니다.
핵심 포인트
- 시계열 파운데이션 모델의 스케일링 가능성 입증
- 4M부터 2.5B 파라미터까지 아우르는 5종의 오픈 웨이트 모델 공개
- BOOM, GIFT-Eval, TIME 벤치마크에서 새로운 SOTA 기록
- u-muP 하이퍼파라미터 전이 파이프라인 및 최적화된 학습 레시피 적용
- 모든 베이스 체크포인트는 Apache 2.0 라이선스로 제공
우리는 시계열 파운데이션 모델 (Time Series Foundation Models)이 스케일링 (Scale) 가능하다는 것을 보여줍니다. 단일 학습 레시피 (Training Recipe)를 통해 4M(4백만)에서 2.5B(25억) 파라미터에 이르기까지 신뢰할 수 있는 예측 품질의 향상을 이끌어냈습니다. 우리는 이 레시피에 따라 학습된 5종의 오픈 웨이트 (Open-weights) 예측 모델 제품군인 Toto 2.0을 공개합니다. Toto 2.0 제품군은 세 가지 예측 벤치마크에서 새로운 SOTA (State of the Art, 최고 수준)를 기록했습니다: 우리의 관측 가능성 (Observability) 벤치마크인 BOOM, 표준 범용 벤치마크인 GIFT-Eval, 그리고 최근의 오염 저항성 (Contamination-resistant) 벤치마크인 TIME입니다. 본 보고서는 우리의 실험 결과와 Toto 2.0의 설계 결정 사항에 대한 세부 정보를 설명합니다: 아키텍처 (Architecture) 및 학습 레시피 (Training Recipe), 학습 데이터 (Training Data), 그리고 u-muP 하이퍼파라미터 전이 파이프라인 (Hyperparameter Transfer Pipeline)에 관한 내용입니다. 5종의 모든 베이스 체크포인트 (Base Checkpoints)는 Apache 2.0 라이선스로 공개됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기