Critic을 잊지 마세요: 다중 주기적 연속 강화학습 (Multi-Cyclic Continual Reinforcement Learning)을

요약

연속 강화학습(CRL)에서 발생하는 치명적 망각을 해결하기 위해 Critic 정규화를 활용한 새로운 데이터 리허설 방식을 제안합니다. 다중 주기적 환경에서 Q-값 정규화를 사용하는 Qreg+NWLU 기법을 통해 학습 효율성과 지식 전이 성능을 개선했습니다.

핵심 포인트

• Actor 중심 정규화의 한계를 극복하기 위해 Critic 정규화 도입
• 다중 주기적 환경에서의 망각 및 가소성 문제 해결 시도
• Q-값을 동적으로 업데이트하는 연속적 데이터 리허설 제안
• 즉각적인 적용을 위한 No-Wait 정규화 방식 도입
• 기존 CRL 방법 대비 학습 효율 및 지식 전이 성능 향상