AI FX 전략을 미래 기간(Forward)에도 적용하기 위한 검증 방법

지난번에는 AI에게 USDJPY에 대한 1,000개의 전략을 만들게 했습니다.

2023년2024년 백테스트에서 1위는 +1,886.2 pips였습니다. 하지만 같은 조건을 2025년2026년에 적용하자 -29.8 pips였습니다.

원인으로 추정되는 것은 1,000개 중에서 '과거 수익이 가장 높았던 단 하나의 전략'을 선택했기 때문입니다.

그래서 이번에는 수익 1위만 고르는 것을 중단했습니다. 연도를 나누고 비용(cost)을 악화시키며 주변 파라미터도 확인한 후에야 비로소 하나를 선택할 수 있는지 검증했습니다.

먼저 결과를 말씀드리자면, 선택된 전략은 포워드(forward) 기간에서 +9.0 pips, PF 1.010을 기록했습니다.

적자 전환은 피했지만, 수익은 거의 제로에 가깝습니다. '엄격하게 고르면 반드시 이길 수 있다'는 결과는 나오지 않았습니다.

초보자를 위한 한 줄 설명

백테스트 과적합(overfitting)을 줄이려면, 가장 많은 수익을 냈던 설정을 선택하는 것이 아니라, 조건을 조금 더 엄격하게 해도 무너지지 않는 설정만 남겨야 합니다.

이번에는 다음 순서로 1,000개의 전략을 줄여나갔습니다.

2023년은 후보를 찾는 기간으로, 2024년은 그 후보를 확인하는 기간으로 역할을 분리했습니다. 2025년 이후부터는 전략을 하나로 고정할 때까지 선택에 사용하지 않았습니다.

검증 조건

단계 1: 2023년만으로 1,000개 중 후보 찾기

처음에 사용한 것은 2023년 데이터만입니다.

• 거래 40회 이상
• 총 pips가 플러스
• PF(Profit Factor)가 1 초과
• 총 pips ÷ 최대 DD(Maximum Drawdown)가 높은 순서

이 조건을 통과한 것은 60개 전략이었습니다.

지난번처럼 2023년과 2024년을 합산하여 순위를 매기면, 어느 한 해만 호조했던 전략도 선택될 수 있습니다. 이번에는 2024년을 아직 보지 않고, 2023년 데이터만으로 후보를 만들었습니다.

단계 2: 2024년으로 재확인하기

다음으로 60개 전략을 2024년에 그대로 적용했습니다.

통과 조건은 다음과 같습니다.

• 2024년에도 거래 40회 이상
• 2024년 총 pips가 플러스
• 2024년 PF가 1 초과
• 2023년과 2024년 모두 추가 비용 후에도 플러스
• 8분기 중 5분기 이상이 플러스

통과한 것은 17개 전략이었습니다.

'2년간 합산이 플러스'가 아니라, 연도를 나누어도 수익이 남아있음을 요구했습니다.

단계 3: 최적값 근처에서도 무너지지 않는지 확인하기

백테스트 1위 설정만 수익을 내고 수치를 조금만 변경해도 적자가 되는 경우, 그 설정은 과거의 가격 움직임에 우연히 맞았을 가능성이 있습니다.

그래서 각 후보에 대해 다음 값들을 단계별로 이동시켜 보았습니다.

• RSI 등의 계산 기간
• 진입 판정값
• ATR 기준 손절폭(stop loss)
• ATR 기준 익절폭(take profit)
• 최대 보유 시간

최종적으로 선택된 AI-0854의 주변 검증 결과입니다.

다만, 이것 역시 2023년~2024년 범위 내에서의 견고성(robustness)입니다. 주변이 플러스라고 해서 미래에도 반드시 플러스가 되는 것은 아닙니다.

선택된 전략

최종적으로 선택된 것은 AI-0854라는 RSI 역추세(reversal) 전략입니다.

매수와 매도를 모두 수행합니다.

• RSI (14기간)가 35 미만이고, 종가가 96기간 이동평균선보다 높으면 매수
• RSI (14기간)가 65 초과이고, 종가가 96기간 이동평균선보다 낮으면 매도
• 손절은 2ATR
• 익절은 4ATR
• 최대 12기간, 즉 3시간 보유

'상승 추세 속에서 일시적으로 과매도된 상황'과 '하락 추세 속에서 일시적으로 과매수된 상황'의 반전을 노립니다.

선택 기간 성적표

지난번 수익 1위보다 총 pips는 작지만, 여러 조건에서 무너지기 어려운 전략을 우선했습니다.

고정하여 2025년~2026년에 적용하기

AI-0854를 파일로 저장하고 조건을 변경할 수 없는 상태로 만든 후 2025년 이후를 계산했습니다.

포워드는 약간의 플러스지만, PF는 거의 1입니다. 거래당 0.2 pips의 추가 비용을 포워드에도 적용하면 -12.0 pips가 됩니다.

연도별 결과를 보면 안정적이지 않다는 것을 알 수 있습니다.

+9 pips를 '성공'으로 판단해도 되는가

성공이라고는 판단할 수 없습니다.

포워드 105 거래의 평균 손익은 +0.086 pips입니다. 하지만, 105 거래에서 무작위로 거래를 재선택하는 계산을 2만 번 수행했을 때, 평균 손익의 95% 구간은 약 -4.08~+4.44 pips였습니다.

95% 구간이란 이번 105 거래에만 좌우되는 오차 범위를 고려한 것입니다. 이 범위에는 0이 포함되어 있기 때문에, 실제 평균 수익이 플러스라고는 판단할 수 없습니다.

게다가 포워드 최대 DD는 354.0 pips입니다. 9.0 pips의 최종 수익에 비해 도중에 그 약 39배의 하락폭이 있었습니다. 실전 운용 후보로서는 약한 결과입니다.

단순 이익 1위와 비교

엄격한 선별을 거치면서 포워드의 최대 DD는 약 70% 감소했습니다. 손익도 적자에서 약간의 플러스로 바뀌었습니다.

다만, 거래 수나 전략의 성질이 다르기 때문에, 선별 방식만의 효과라고 단정할 수는 없습니다. 그리고 +9.0 pips는 실용적인 우위성을 보여주는 숫자가 아닙니다.

왜 엄격하게 골라도 이익이 남지 않았는가

선별 방식은 의심스러운 후보를 줄이는 데 도움이 됩니다. 원래의 1000개 전략에 미래에도 이어질 우위성이 포함되어 있지 않다면, 필터를 아무리 늘려도 새로운 우위성은 생기지 않습니다.

대량 생성하기
↓
과적합(Overfitting)하기 쉬운 후보를 제거하기
...

이번 방식은 '승리하는 전략을 만드는 마법'이 아니라, '나쁜 전략을 채택하기 어렵게 하는 검사'입니다.

포워드에서 통용될 확률을 높이려면

이번 결과로 미루어 볼 때, 실제로 취해야 할 절차는 다음과 같습니다.

• 가설의 이유를 먼저 결정한다
• 탐색 기간과 확인 기간을 분리한다
• 이익뿐만 아니라 PF, 최대 DD, 연도별 성적을 본다
• 스프레드와 추가 비용을 악화시킨다
• 주변 파라미터에서도 무너지지 않는 것을 확인한다
• 조건을 고정한 후, 새로운 데이터를 기다린다
• 처음에는 데모 계좌 또는 작은 로트(Lot)로 관찰한다

특히 중요한 것은 6번입니다. 같은 과거 데이터로 선별 방식을 여러 번 개선하면, 그 과거 데이터에 대해 선별 방식 자체가 과적합됩니다.

이번 AI-0854를 진정으로 확인하려면, 2025~2026년에 조건을 조정하지 않고, 2026년 8월 이후에 늘어나는 데이터로 추적해야 합니다.

요약

• 1000개 전략에서 2023년, 2024년, 추가 비용, 분기, 주변 조건 순으로 후보를 줄였다
• 2023년 1차 조건을 통과한 것은 60건
• 2024년까지 통과한 것은 17건
• AI-0854는 주변 9개 조건 중 8개에서 플러스였다
• 선별 기간은 +526.3 pips
• 포워드는 +9.0 pips, PF 1.010으로 실질적으로는 보합세
• 추가 비용을 넣으면 포워드는 -12.0 pips
• 엄격한 선별은 큰 폭의 하락을 줄였지만, 충분한 이익은 만들지 못했다

AI에게 대량의 전략을 만들게 할 경우, 수익 1위를 고르는 것보다 단계적으로 줄여나가는 것이 안전합니다.

그럼에도 마지막으로 필요한 것은, 조건을 고정한 채 새로운 시장을 기다리는 것입니다.

논의(Discussion)