겹치는 윈도우가 백테스트에서 통계적 유의성을 만들어냅니다

요약

본 글은 시계열 데이터 분석에서 흔히 발생하는 통계적 유의성 오류(false positive)를 경고합니다. 특히 워크 포워드 테스트 등에서 겹치는 관측치를 독립적인 데이터로 오인하여 결과를 과대평가하는 위험성을 지적합니다. 겹치지 않는 고유한 시장 에피소드로 재분석했을 때, 통계적 유의성이 크게 감소함을 보여줍니다.

핵심 포인트

• 시계열 분석에서 겹치는 관측치를 독립 데이터로 간주하면 결과가 과대평가될 수 있습니다.
• 통계적 유의성(s.e.)은 표본 크기(n)에 비례하여 계산되므로, n을 부풀리면 오차 막대가 인위적으로 줄어듭니다.
• 겹치지 않는 고유한 에피소드로 재분석할 경우, 통계적 우위가 증가하더라도 유의성은 감소하는 경향이 있습니다.