우리는 시계열 데이터 세트에서 확률 모델(Probabilistic models) 간의 모델 선택 문제를 고찰합니다. 적절한 점수 규칙(Proper scoring rule)을 선택했을 때, 개별 시계열의 테스트에 대한 점수 규칙의 평균값을 extit{score}라는 용어로 나타냅니다. 모델 선택을 위해서는 여러 시계열에 걸친 점수(score) 값들을 집계해야 합니다. 모델 선택을 위해 일반적으로 세 가지 요약 통계량이 사용됩니다: 평균 점수(mean score), 중앙값 점수(median score), 그리고 평균 순위(mean rank)입니다. 이전 논문들의 결과에 따르면 이러한 통계량들은 상충하는 결정을 내릴 수 있음을 보여줍니다; 우리는 이러한 상충하는 결론이 점수 분포의 왜도(skewness) 때문임을 보여줍니다. 또한 우리는 데이터 세트의 각 시계열 테스트 세트가 증가함에 따라, 서로 다른 모델 선택 기준들이 점진적으로 동일한 결론으로 수렴한다는 것을 보여줍니다. 그러나 짧은 테스트 세트의 경우, 오직 평균 점수만이 진정한 모델을 최적으로 식별합니다. 우리는 M5 경연(M5 competition) 데이터 세트를 포함한 간헐적 시계열(intermittent time series) 분석을 통해 이러한 현상을 설명하며, 여기서 큰 테스트 세트를 확보하는 것의 중요성을 강조합니다. 이러한 실험에서, 우리는 평균 순위에 기반한 모델 선택이 서로 다른 스케일링 인자(scaling factors)를 사용하더라도 변하지 않는다는 점을 추가로 발견했습니다.