행동 일관적 심층 강화학습 (Behavior-Consistent Deep Reinforcement Learning)

요약

본 연구는 강화학습 훈련 과정에서 발생하는 높은 분산과 실행 간 정책 발산 문제를 해결하기 위한 '행동 일관적 강화학습' 방법론을 제안합니다. 최대 엔트로피 강화학습의 메커니즘을 활용하여, $Q$-함수의 불일치를 기반으로 상태 의존적 온도 스케줄인 QED(Q-value Expectile Disagreement)를 도입함으로써 성능 저하 없이 실행 간 정책 발산을 획기적으로 줄였습니다.

핵심 포인트

• 강화학습 훈련 실행 간의 높은 분산과 정책 발산 문제를 정형화하여 정의함
• 최대 엔트로피 강화학습이 실행 간 행동 발산을 제어할 수 있는 직접적인 메커니즘을 제공함을 확인
• 단순한 엔트로피 증가는 오프-정책 오차를 증폭시키고 최적화를 저해할 수 있는 부작용이 있음
• Double-critic 불일치를 활용한 QED(Q-value Expectile Disagreement)를 통해 실행 간 발산을 두 자릿수(two orders of magnitude) 감소시킴
• 연속 제어 작업 실험을 통해 리턴 분산을 낮추면서도 샘플 효율성을 유지함을 입증