서론 (Introduction)

백테스팅 (Backtesting) 및 퀀트 전략 연구 (Quantitative strategy research)를 위해 외환 (Forex) 시계열 데이터셋을 다룰 때, 저는 과거에 가격 움직임 (Price action)과 기술적 지표 (Technical indicator) 계산에만 집중하곤 했습니다. 다년간의 과거 데이터셋을 분석한 결과, 시장 호가 (Market quotes)의 미세한 시간 공백이 캔들스틱 렌더링 (Candlestick rendering), 지표 출력, 그리고 최종 분석 결론을 심각하게 왜곡할 수 있다는 사실을 깨닫는 데 수년이 걸렸습니다.

외환 (Forex) 시장은 중앙 집중식 주식 거래소와는 다르게 작동합니다. 가격 피드 (Pricing feeds)는 전 세계 유동성 공급자 (Liquidity providers)들에게 분산되어 있으므로, 시장 API를 통해 검색된 희소한 틱 데이터 (Tick data)나 길어진 시간 간격이 항상 엔드포인트 (Endpoint)의 오류를 의미하는 것은 아닙니다. 많은 경우, 데이터의 희소성은 지역적 공휴일 및 기관 거래 활동의 감소에서 비롯됩니다.

외환 과거 데이터에서 빈 간격이 발생하는 근본 원인 (Root Causes of Blank Intervals in Forex Historical Data)

대부분의 개발자는 누락된 레코드를 즉시 API 실패로 간주하지만, 거의 24/5로 운영되는 외환 (Forex) 거래 사이클은 시각적으로는 동일해 보이지만 처리 로직은 완전히 다른 네 가지의 뚜렷한 공백 유형을 생성합니다:

1. 글로벌 공휴일 (Global public holidays, 예: 크리스마스, 새해): 주요 금융 기관들이 모든 통화 쌍 (Currency pairs)에 걸쳐 거래량을 축소하며, 이로 인해 틱 빈도 (Tick frequency)가 급격히 줄어들고 샘플링 간격 (Sampling intervals)이 늘어납니다.
2. 지역 국가 공휴일 (Regional national holidays): 유동성은 폐쇄된 관할 구역과 연결된 통화 쌍에 대해서만 감소합니다. 예를 들어, 일본의 은행 공휴일은 USD/JPY 활동을 감소시키고, 유럽의 공휴일은 EUR 관련 쌍을 억제합니다.
3. 주말 시장 폐쇄 (Weekend market shutdowns): 토요일과 일요일에는 공식적인 주문 매칭 (Order matching)이 발생하지 않으므로, 길고 연속적인 빈 구간이 생성됩니다.
4. API 전송 실패 (API transmission failures): 패킷 손실 (Packet loss), 속도 제한 (Rate limiting), 또는 요청 스로틀링 (Request throttling)은 시장 유동성과 무관한 무작위 불연속성을 생성하며, 이는 오류 알림 워크플로 (Error alerting workflows)를 필요로 합니다.

과거 기록을 감사 (Auditing)할 때, 모든 누락된 타임스탬프 (Timestamp)를 API 버그로 분류해서는 안 됩니다. 타임스탬프, 거래 상품 (Traded instruments), 그리고 글로벌 거래 달력을 교차 참조하여 공백을 정확하게 분류해야 합니다.

Step 1: 타임스탬프 차이(Timestamp Delta) 계산을 통한 의심스러운 공백 탐지
기본적인 스크리닝 방법은 연속된 시장 기록 사이의 시간 차이를 계산하는 것입니다.
09:32와 09:40 사이의 8분 공백은 문맥적 검증(contextual validation)이 필요합니다. 만약 해당 날짜가 주요 공휴일이라면 이러한 희소성(sparsity)은 자연스러운 현상입니다. 반면, 거래가 활발한 일반 세션 시간대라면 이 공백은 상류(upstream) 데이터 장애를 의미합니다.

저는 공백 분류를 위해 모든 쿼트(quote)와 함께 다섯 가지 핵심 메타데이터 필드를 저장합니다:

• 현재 틱(tick)의 타임스탬프
• 이전 틱(tick)의 타임스탬프
• 두 항목 사이의 시간 차이(Time delta)
• 대상 통화쌍 심볼(Target currency pair symbol)
• 해당 날짜의 거래 달력 플래그(Trading calendar flag)
  이 메타데이터 세트를 통해 공휴일로 인한 희소성과 API 중단을 대규모로 자동 분류할 수 있습니다.

Step 2: 글로벌 공휴일 달력을 통한 2차 검증
타임스탬프 차이 체크만으로는 불충분합니다. 통화쌍은 서로 다른 지리적 거래 구역을 따릅니다. 예를 들어 EUR/USD는 유럽(EU) 및 미국(US)의 공휴일과 상관관계가 있으며, USD/JPY는 미국과 일본의 공휴일 영향을 받습니다. 공휴일 일정을 교차 참조하지 않으면, 파이프라인에서 수많은 거짓 양성(false positive) 오류 알림이 생성될 것입니다.

과거 아카이브와 실시간 틱 데이터 표준의 정렬

오프라인 과거 데이터셋과 실시간 스트리밍 틱 간의 일관되지 않은 처리 규칙은 오프라인 백테스트(backtest)와 실시간 시뮬레이션 결과 사이의 거대한 편차를 만듭니다. 모든 오프라인 클리닝 로직은 실시간 시장 수집(ingestion) 파이프라인에서도 재사용되어야 합니다.

실시간 틱 소비를 위해, 저희는 AllTick API의 WebSocket 피드를 통합합니다. 원시 타임스탬프는 수집 시점에 보존되며, 동일한 공휴일 공백 검증 로직이 들어오는 스트리밍 데이터에 대해 실행됩니다.
전체 작동 가능한 WebSocket 구독 템플릿:

import websocket
import json
from datetime import datetime
...

Forex 시계열 데이터 무결성에 관한 핵심 요약

수년간 퀀트 연구 (quantitative research)를 위한 외환 (forex) 데이터 파이프라인을 유지 관리해 오면서, 저는 한 가지 명확한 결론을 내렸습니다. 누락된 타임스탬프 (timestamps) 그 자체는 결정적인 위험이 아닙니다. 진짜 위험은 각 공백의 근본 원인을 진단하지 못하는 데 있습니다. 공휴일 유동성 감소, 주말 폐장, 그리고 API 중단은 시각적으로는 동일한 빈 간격을 만들어내지만, 완전히 다른 해결 워크플로우 (remediation workflows)를 요구합니다.

외환 API 데이터 처리를 위한 저의 표준 워크플로우는 다음과 같은 순서를 따릅니다: 먼저 공백의 기원을 분류한 다음, 원본 공백을 그대로 유지할지, 분류 태그를 부착할지, 아니면 라벨링된 보간 레코드 (labeled interpolated records)를 생성할지를 결정합니다. 이런 방식으로 처리된 데이터셋은 겉보기에 덜 균일하고 연속적으로 보일 수 있지만, 실제 외환 시장의 동작을 정확하게 반영합니다.

시계열 (time-series) 퀀트 분석에서, 매끄러운 연속성이 곧 데이터의 정확성을 의미하는 것은 아닙니다. 누락된 모든 시간 슬라이스 (time slice) 뒤에 숨겨진 시장 메커니즘을 이해하는 것이 신뢰할 수 있는 백테스팅 (backtesting)과 모델 학습 (model training)을 위한 기초적인 규칙입니다.