본 논문은 Wang et al. (2020), Jia and Zhou (2022b)의 연속 시간 강화학습 (Continuous-time Reinforcement Learning) 프레임워크 하에서 확률 미분 방정식 (SDE)으로 기술되는 확산 환경 (Diffusion Environment) 내 다중 팔 밴딧 (Multi-armed Bandit) 문제에 대한 정책 경사 (Policy Gradient) 업데이트를 연구합니다. 확률적 정책 (Stochastic Policy)을 위한 로짓 매개변수화 (Logit Parameterization)를 사용하여, 임의의 상수 학습률 (Constant Learning Rate) 하에서 최적의 팔 (Optimal Arm)로 거의 확실하게 (Almost Surely) 수렴함을 보여줍니다. 나아가, 상수 학습률이 시간 불변 임계값 (Time-invariant Threshold) 미만일 때의 비점근적 후회 상한 (Non-asymptotic Regret Upper Bound)을 도출하며, 이 후회 상한은 $O( ext{log } T)$ 차수를 가집니다. 우리는 새로운 리아푸노프 함수 (Lyapunov Function)를 구축함으로써 동일한 SDE에 대한 Lattimore (2026a)의 분석을 개선하였으며, SDE의 도구들을 사용하여 정책 경사를 분석하는 것의 투명성을 입증합니다. 또한, 동일한 리아푸노프 함수는 이산 시간 (Discrete-time) 정책 경사 알고리즘을 분석하는 데에도 유용합니다.