시간적 일관성을 강화하는 동역학 사전(Dynamical Prior) 기반 강화학습

요약

기존 강화학습 (RL)은 보상 최대화에 초점을 맞춰 시간적으로 비일관적인 행동(예: 갑작스러운 신뢰도 변화, 진동 등)을 보이는 정책을 학습시킬 수 있습니다. 본 논문에서는 동역학 사전 (Dynamical Prior Reinforcement Learning, DP-RL)이라는 새로운 훈련 프레임워크를 제안합니다. 이는 보상 함수나 환경 구조를 변경하지 않으면서 외부 상태 역학에서 파생된 추가 손실(auxiliary loss)을 정책 경사 학습에 통합하여 행동 확률의 시간적 진화를 제어합니다. 실험 결과, DP-RL은 에이전트가 과제

핵심 포인트

• DP-RL 프레임워크는 보상 함수나 환경 구조 변경 없이 외부 상태 역학 기반 손실을 추가하여 정책 경사 학습에 통합한다.
• 본 접근법은 행동 확률의 시간적 진화를 제어하며, 증거 축적(evidence accumulation) 및 이력 현상(hysteresis)과 같은 메커니즘을 구현하는 데 중점을 둔다.
• DP-RL은 에이전트가 단순히 부드러워지는 것을 넘어, 과제에 특화된 시간 구조를 가진 결정 경로를 촉진함을 입증했다.