문제점: 존재해서는 안 될 K-Line 공백

저는 미시구조 (microstructure) 연구에 사용하는 귀금속 실시간 시장 모니터링 시스템을 유지 관리하고 있습니다. 얼마 전, 저는 매우 골치 아픈 문제에 직면했습니다. 제가 생성한 1분봉 K-Line (K-lines)에 설명할 수 없는 공백, 갑작스러운 가격 급등, 또는 시장 이벤트와 일치하지 않는 거래량 급증이 때때로 포함되는 현상이었습니다. 원시 틱 스트림 (raw tick stream)은? 완벽하게 정상적이었습니다. 그런데 캔들 (candles)은? 가끔 깨져 있었습니다.

캔들 생성 알고리즘을 철저히 디버깅해 보았지만 (알고리즘은 문제가 없었습니다), 근본적인 원인을 추적한 결과 훨씬 더 기초적인 문제로 밝혀졌습니다. 바로 _시장 간 세션 전환 (cross-market session transitions) 및 데이터 소스 간의 일관되지 않은 시간 형식 (inconsistent time formats)_이었습니다.

시장 간 거래 시간이 캔들을 망가뜨리는 이유

귀금속 시장은 이어달리기와 같습니다. 유동성은 아시아에서 유럽을 거쳐 북미로 이동하며, 거래권이 넘어가는 동안 틱 스트림 (tick stream)의 특성이 급격하게 변합니다. 틱 빈도 (tick frequency)는 가속화되거나, 감속되거나, 때로는 잠시 사라지기도 합니다. 한편, 서로 다른 API들은 타임스탬프 (timestamps)를 UTC, 현지 거래소 시간, 또는 심지어 지정되지 않은 시간대로 반환할 수 있습니다. K-Line 생성기가 이러한 원시 타임스탬프를 사용하여 고정된 간격으로 캔들을 자를 때, 경계선이 어긋나게 됩니다. 단순한 1분봉처럼 보이는 것이 실제로는 서로 다른 시간 영역에 속하는 틱들의 불일치하는 집합체가 되어버립니다.

제가 기록한 일반적인 증상들은 다음과 같습니다:

이것들은 반드시 데이터 오류인 것은 아닙니다. 이는 시간 인지적 처리 (time-aware handling)가 필요한 정렬 실패 (alignment failures)입니다.

연구자들에게 실제로 필요한 것: 일관된 시간적 중추 (Temporal Backbone)

학술 기관을 위한 데이터셋을 자주 준비하는 사람으로서, 저는 데이터의 가장 핵심적인 요구 사항이 시간적 일관성 (temporal consistency)이라는 것을 배웠습니다. 모든 틱 (tick)이 높은 정밀도로 동일한 시간 표준—가급적이면 UTC—에 고정되어 있어야 합니다. 그래야만 서로 다른 시장 세션에 걸쳐 균일한 K-라인 (K-line) 경계를 강제할 수 있습니다. 이것이 없다면, 이후의 모든 분석 (변동성 추정 (volatility estimation), 점프 탐지 (jump detection), 장중 패턴 마이닝 (intraday pattern mining))은 불안정한 토대 위에 세워지게 됩니다.

나의 해결책: 정규화 (Normalize), 검증 (Validate), 보존 (Preserve)

저는 세 가지 원칙을 중심으로 처리 파이프라인을 재구성했습니다:

1. 수집 시 시간을 UTC로 정규화 (Normalize time to UTC on ingestion)

데이터 소스가 틱에 타임스탬프를 찍는 방식과 관계없이, 가장 첫 번째 단계는 UTC로 변환하는 것입니다. 그런 다음 엄격한 UTC 경계를 사용하여 K-라인 윈도우 (K-line windows)를 정의합니다. 예를 들어, 1분 봉 (1-minute candles)의 경우:

• 12:00:00 – 12:00:59
• 12:01:00 – 12:01:59

이렇게 하면 모든 세션의 틱이 소스 기기의 시계가 아닌 절대적 시간에 기반하여 올바른 버킷 (bucket)에 들어가게 됩니다.

2. 사전 집계 검증 (Pre-aggregation validation)

틱이 캔들 (candle)에 들어가기 전에, 이전 틱과의 시간 차이 (time delta)와 가격 변동을 확인합니다. 만약 큰 간격이 있다면, 우리가 알려진 저유동성 기간 (예: 아시아 세션 중간)에 있는지 판단합니다. 간격이 예상된 것이라면 정상적으로 진행하고, 그렇지 않다면 플래그 (flag)를 표시합니다. 가격 이상치 (price anomalies)는 표시되지만 즉시 캔들을 오염시키지는 않으며, 검토를 위해 유지됩니다. 이러한 문맥 인식 검증 (context-aware validation)은 실제 문제를 포착하면서도 허위 양성 (false positives)을 방지합니다.

3. 원시 틱 데이터 유지 (Retain raw tick data)

저는 들어오는 모든 틱을 변경 없이 영구 저장 (persist)합니다. 만약 어떤 K-라인이라도 의심스러워 보인다면, 원본 데이터로부터 전체 집계 과정을 다시 재생 (replay)할 수 있습니다. 이 접근 방식은 학술적 검증에 필수적인 재현성 (reproducibility)을 보장합니다.

WebSockets를 이용한 실시간 구현

실시간 데이터를 위해서는 WebSockets가 REST 엔드포인트를 폴링 (polling)하는 것보다 훨씬 우수합니다. WebSockets는 틱 (tick)의 자연스러운 순서를 보존하고 타이밍 지터 (timing jitter)를 방지합니다. 현재 저의 스택에서는 실시간으로 틱을 전달하는 WebSocket 피드 (feed)를 소비합니다. 메시지 핸들러 (message handler)에서 가장 중요한 부분은 즉각적인 시간 정규화 (time normalization)입니다. 다음은 운영 환경에서 실행되는 코드의 간소화된 버전입니다:

import websocket
import json
from datetime import datetime, timezone
...

틱이 캔들 빌더 (candle builder)에 도달하기 전에 시간을 UTC로 변환함으로써, 이전에 발생하던 거의 모든 유령 변위 (phantom dislocations) 현상을 제거할 수 있었습니다.

시장 휴지기(Lulls)와 실제 데이터 손실의 구분

미묘하지만 중요한 점이 있습니다. 세션 전환기 동안의 낮은 틱 볼륨 (tick volume)은 오류가 아니라 정상적인 현상입니다. 만약 검증 로직이 단순히 틱의 개수만 센다면, 실제 시장 데이터를 삭제하게 될 것입니다. 저는 현재 다음과 같은 결합된 규칙 세트를 사용합니다:

• 타임스탬프 (timestamp) 연속성 확인
• 가격 변동의 타당성 (plausibility) 평가
• 예상 틱 레이트 (tick rate) 대비 데이터 완전성 평가
• 현재 시장 세션 판별

이 네 가지 차원이 모두 일치하면, 틱 스트림 (tick stream)이 느리더라도 유효한 것으로 처리합니다. 이를 통해 활동이 적은 기간의 자연스러운 미시 구조 (microstructure)를 보존할 수 있습니다.

학술적 가치: 연구 인프라로서의 시간 무결성 (Time Integrity)

경험적 시장 연구를 수행하는 누구에게나, 시간축을 정확하게 설정하는 것은 있으면 좋은 기능이 아니라 신뢰할 수 있는 결과를 얻기 위한 최소한의 요구 사항입니다. UTC 정규화, 문맥 민감형 검증 (context-sensitive validation), 그리고 원시 데이터 지속성 (raw data persistence)을 강제하고 나면, 여러분의 K-라인 (K-lines)은 변동성 시그니처 플롯 (volatility signature plots)부터 주문 흐름 분석 (order flow analysis)에 이르기까지 모든 연구를 위한 신뢰할 수 있는 기질 (substrate)이 됩니다. 데이터 소스도 중요하지만, 시장 경계 전반에 걸쳐 시간을 어떻게 관리하느냐가 궁극적으로 여러분의 연구가 정밀한 검토를 견뎌낼지, 아니면 숨겨진 시간적 왜곡 (temporal distortions)으로 인해 무너질지를 결정합니다.