Q-Learning의 부호 분리 유한 시간 오차 분석

요약

본 논문은 일정한 스텝 크기를 사용하는 Q-learning의 오차를 양수와 음수 부분으로 분리하여 유한 시간 동안의 오차 범위를 분석합니다. 분석 결과, Bellman maximum 연산으로 인해 발생하는 비대칭성으로 인해 양수 오차는 전파되기 쉬운 반면 음수 오차는 제어되는 특성을 보입니다. 이를 통해 결정론적 및 확률적 환경 모두에서 Q-learning의 오차 역학에 대한 유한 시간 경계값을 제시합니다.

핵심 포인트

• Q-learning 오차를 음수 부분(LTI 시스템 지배)과 양수 부분(선형 스위칭 시스템 지배)으로 분리하여 분석함
• Bellman maximum 연산이 유도하는 비대칭성이 과대평가(overestimation)의 원인임을 식별함
• 음수 측 LTI 인증이 양수 측 스위칭 인증보다 더 빠른 지수 포락선을 생성할 수 있음을 증명함
• 결정론적 및 확률적 일정한 스텝 크기 재귀 모델에 대한 유한 시간 오차 경계값을 제공함