이산 데이터로부터의 연속 시간 정책 경사: 수렴 분석 및 모델 프리 알고리즘

요약

본 논문은 이산 데이터로부터 연속 시간 정책 경사를 학습하는 새로운 프레임워크를 제시합니다. 이를 통해 확률적 미분 방정식으로 구동되는 알려지지 않은 역학 하에서도 최적 정책을 추구할 수 있습니다. 개발된 알고리즘은 온-정책 및 오프-정책 모델 프리 액터-크리틱 구조를 가지며, 다양한 제어 문제에서 안정성과 성능을 입증했습니다.

핵심 포인트

• 이산 데이터 기반의 연속 시간 강화학습 프레임워크 제시
• 성능 차이 보조정리를 통해 정책 경사 공식 도출
• 알려지지 않은 역학 하에서도 학습 가능한 모델 프리 알고리즘 제공
• 온-정책 및 오프-정책 액터-크리틱 구조로 제어 문제 연속 시간 구조 유지