옵션 시장 조성자를 위한 위험 민감 강화학습: 실제 S&P 500 옵션을 사용한 실증 연구

옵션 시장 조성자는 고객 주문 흐름을 흡수하고 거래 마찰(trading frictions) 하에서 발생하는 재고 위험(inventory risk)을 헤지해야 합니다. 우리는 역사적 시장 데이터로 훈련된 옵션 헤징 강화학습 (RL) 에이전트가 꼬리 위험 보호 측면에서 세 가지 대안, 즉 (i) 전통적인 델타 헤징 (delta hedging), (ii) 단순한 헤지 비율 규칙(simple hedge-ratio rules), 그리고 (iii) 시뮬레이션된 시장에서 훈련된 동일한 에이전트보다 우수한 성능을 보이는지 연구합니다. 대부분의 RL 헤징 에이전트는 실제 데이터에 존재하는 폭락장과 변동성 국면(volatility regimes)을 포착하지 못하는 모델 생성 시장에서 훈련됩니다. 우리는 1996년부터 2017년까지의 S&P 500 옵션 데이터를 사용하여 실증적 리플레이 환경(empirical replay environment)을 도입하고, 동일한 포트폴리오 메커니즘, 확률적 도착(stochastic arrivals), 비용 및 테스트 기간을 공유하는 매칭된 기하 브라운 운동 (Geometric Brownian Motion, GBM) 환경, 확률 변동성 (Stochastic-Volatility) 시뮬레이터인 SABR, 그리고 블랙-숄즈(Black-Scholes)로 역사적 경로를 평가하는 하이브리드 모델과 비교합니다. 우리는 분포형 Twin Delayed Deep Deterministic Policy Gradient (TD3) 에이전트를 훈련시키고 이를 2018년부터 2023년까지의 기간에 대해 샘플 외(out of sample)로 평가했습니다. 실증 데이터로 훈련된 이 에이전트는 델타 헤징 대비 조건부 위험 가치 (Conditional Value-at-Risk, CVaR) 꼬리 손실을 3.1% 감소시키며, 훈련 기간 동안 선택된 모든 헤지 비율 규칙과 모든 대안적인 훈련 환경보다 우수한 성능을 보였습니다. 이러한 감소 폭은 변동성이 크고 하락하는 시장에서 8.9%에 달하지만, 상승하는 시장에서는 7~10%의 비용으로 역전됩니다. 실증적 훈련은 상태 의존적 단기 순 델타(state-dependent short net delta)를 유도합니다: 즉, 정책이 음수 델타 포트폴리오를 과소 헤지하며, 이는 가격 하락 후에 가장 강하게 나타납니다. 이러한 기울기는 GBM 훈련을 거치면서 사라지고 SABR 또는 하이브리드 훈련에서는 약해집니다. 이러한 발견들은 역사적 시장 역학에 노출되는 것이 꼬리 위험 헤징 정책을 실질적으로 변화시킬 수 있음을 시사하지만, 그 증거는 단일 테스트 경로에 의존하며 우위성은 국면 조건적(regime-conditional)입니다.