시간 비일관적 제어 문제에서의 평형 학습을 위한 결정적 정책 경사 (Deterministic Policy Gradient)

본 논문에서는 일반적인 시간 비일관적 (time-inconsistent) 제어 문제에서 결정적 평형 정책 (deterministic equilibrium policies)을 학습하기 위한 연속 시간 모델 프리 (model-free) 강화학습 알고리즘을 개발합니다. 확장된 Hamilton-Jacobi-Bellman (HJB) 시스템을 활용하여, 원래의 시간 비일관적 문제를 동등한 2단계 문제로 재구성합니다. 첫 번째 단계에서는 주어진 보조 함수 (auxiliary functions)에 대해, 결정적 정책 경사 (deterministic policy gradient) 접근 방식을 채택하여 보조 시간 일관적 (time-consistent) 제어 문제에서의 최적 정책을 학습합니다. 두 번째 단계에서는 업데이트된 정책이 주어졌을 때, 내부 고정점 반복 (inner fixed point iterations)과 일부 마팅게일 특성 (martingale characterizations)을 활용하여 보조 함수를 학습합니다. 이론적 기여로서, 우리는 몇 가지 완만한 모델 가정 (model assumptions)을 제공하고 내부 고정점 반복의 수렴성을 입증합니다. 두 단계에 걸쳐 이러한 액터-크리틱 (actor-critic) 스타일의 반복을 수행함으로써, 우리의 알고리즘은 다양한 원인의 시간 비일관성 하에서 평형을 통합된 방식으로 학습하는 것을 목표로 합니다. 제안된 알고리즘의 탁월한 효과는 시간 비일관성을 가진 두 가지 고전적인 금융 응용 분야인 평균-분산 포트폴리오 관리 (mean-variance portfolio management) 및 비지수적 할인 (non-exponential discounting) 하에서의 최적 추적 포트폴리오 (optimal tracking portfolio)를 통해 입증됩니다.