최소한의 가정 하에 Single-Loop Actor-Critic에 대한 $\epsilon^{-2}$ 샘플 복잡도 달성

요약

본 논문은 강화학습(RL)의 오프-폴리시 Actor-Critic 방법론에 대한 수렴 속도를 분석합니다. 특히, 단일 루프 및 근사 정책 반복과 같은 최소한의 가정 하에서 $ ilde{\mathcal{O}}(\epsilon^{-2})$ 샘플 복잡도 보증을 최초로 증명했습니다. 이는 기존 연구들이 요구했던 중첩 루프나 강력한 탐색 가정을 회피하며, 결합된 리아푸노프 드리프트 프레임워크를 사용하여 Actor와 Critic의 수렴 속도를 통합적으로 분석함으로써 달성되었습니다.

핵심 포인트

• 최소한의 가정 하에 오프-폴리시 Actor-Critic 방법론의 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 샘플 복잡도 보증을 최초로 증명함.
• 기존 연구와 달리 중첩 루프 업데이트나 알고리즘 의존적인 강력한 탐색 가정을 요구하지 않음.
• 결합된 리아푸노프 드리프트(coupled Lyapunov drift) 프레임워크를 사용하여 Actor와 Critic의 수렴 속도를 통합적으로 분석함.
• Actor에 대한 기하학적 수렴 속도와 Critic에 대한 $\tilde{\mathcal{O}}(1/T)$ 수렴 속도를 각각 확립하고 이를 결합함.