TimesFM 3.0, Chronos-2 및 Toto 2.0을 시장 시계열 데이터에 대해 벤치마킹했습니다. 단순 기준선을 능가하는 모델은

제가 순진할 수도 있지만, 최근 시계열 기반 모델(time-series foundation models)의 물결이 실제로 금융 시장에서 유용한 예측 신호를 추출할 수 있는지 궁금했습니다. Google의 TimesFM 3.0, Amazon의 Chronos-2, Datadog의 Toto 2.0 같은 모델들은 언뜻 보기에도 인상적인 범용 예측기입니다. 하지만 주가는 예측하기 어렵기 때문에, 이 모델들이 매우 단순한 기준선(baseline)과 비교했을 때 어떤 성능을 보이는지 보고 싶었습니다. 저는 일별 및 시간 단위 데이터를 포함하여 24개 미국 주식 및 ETF에 대해 일련의 제로샷 실험(zero-shot experiments)을 수행했으며, 그 예측 결과를 단순 예측 전략(naive forecasting strategies) 및 시뮬레이션된 랜덤 워크와 비교했습니다. 요약하자면, 세 모델 중 어느 것도 이 설정에서 주가 움직임에 대한 의미 있는 예측력을 보여주지 못했습니다.

코드: 여기에 있습니다.
사용했던 실험 설정:
모델: TimesFM 3.0, Chronos-2, Toto 2.0 (313M)
자산: SPY, QQQ 및 IWM을 포함한 24개 대형 미국 주식 및 ETF
데이터: Yahoo Finance, 2014년 1월부터 2026년 11월까지
평가: 2024년 11월 시작, 504 거래일 동안
컨텍스트: 512개 과거 종가 가격
예측 지평(Forecast horizons): 1, 5 및 20 거래일
모드: 제로샷(Zero-shot), 기본 설정, 파인튜닝 없음
기준선: 마지막 관찰된 가격, 항상 상승 방향 예측, 매칭된 드리프트와 변동성을 가진 시뮬레이션된 랜덤 워크
또한 저는 모델들을 시간별 및 5분 단위 가격 봉에 대해서도 평가했습니다. https://preview.redd.it/npb9z5o67t0i1.png?width=596&format=png&auto=webp&s=d49f50fabc0a67d3297277a372dc418419b02a47

방향성 정확도(Directional accuracy)는 본질적으로 동전 던지기와 같습니다. 세 모델 전반에 걸쳐 다음 날 방향성 정확도는 49.9%에서 51.1% 사이였습니다. 단순히 매일 시장이 상승할 것이라고 예측하는 것만으로도 52.2%(네)를 달성했습니다. 더욱 흥미로운 점은, 저는 모델들에게 아무런 활용 가능한 예측 신호가 없는 시뮬레이션된 랜덤 워크를 입력했을 때, 실제 주가와 거의 같은 방향성 정확도를 달성했다는 것입니다. 또한 간단한 '장기 또는 현금 보유(long-or-cash)' 전략도 테스트했습니다: 모델이 상승을 예측하면 주식을 보유하고, 그렇지 않으면 현금을 유지하는 방식입니다.

초기 자본금 $10,000에서 시작하여 스위치당 0.05%의 거래 비용을 고려했을 때: 시계열 모델 전략들은 $10,893와 $12,181 사이에서 마감했습니다. 매수 후 보유(Buy-and-hold)는 $15,036으로 마감했습니다. 명백히 이것은 단지 하나의 단순한 전략일 뿐이며 거래 수익성을 포괄적으로 평가한 것은 아닙니다. 하지만 그래도 무언가를 알려주는 것 같습니다. 저는 시간별(hourly) 및 5분 봉(5-minute bars)을 사용하여 실험을 반복했습니다. 결과는 유사했습니다: 방향성 정확도(directional accuracy)는 우연 수준에 머물렀고, 5분 데이터에서는 간단한 단일 라인 평균 회귀 휴리스틱(mean-reversion heuristic)이 더 나은 성능을 보였습니다. 코드가 포함된 레포지토리는 여기에 있습니다: https://github.com/moneyheap/tsfm-stocks 음, 저는 이것이 정말 작동하기를 바랐지만, (duh %) /u/AdelSexy가 제출했습니다 [링크] [댓글]