에이전시 전이형 모델 프리 정책 강화 기법

강화학습 (RL) 정책을 처음부터 학습시키는 것은 비용이 많이 듭니다. 이는 세심한 보상 및 환경 설계, 광범위한 튜닝, 그리고 상당한 계산량을 요구합니다. 하지만 많은 제어 문제에는 이미 기능적이지만 최적은 아닌 베이스라인 (baseline) 정책이 존재합니다. 본 논문은 이러한 베이스라인을 RL 학습 과정에 임베딩하여, 처음부터 학습하는 방식에 비해 학습 효율성을 동시에 개선하고 베이스라인보다 성능이 뛰어난 학습 정책을 생성하는 방법을 제안합니다. 각 단계에서 이 방법은 베이스라인 정책과 학습 가능한 학습 정책 사이를 중재하며, 초기에는 베이스라인 정책에 강하게 의존하다가 점진적으로 에이전시 (agency)를 학습 정책으로 전이합니다. 학습이 끝날 때쯤 학습 정책은 베이스라인 정책의 지원 없이 작동하는 독립적인 신경망 (neural network)이 됩니다. 본 논문은 베이스라인 정책이 기능적이라는 것이 무엇을 의미하는지 공식화합니다. 즉, 이 정책 하에서 에이전트가 목표 집합에 도달하고 높은 확률로 그곳에 머무는 것을 의미합니다. 제안된 중재 메커니즘은 학습 과정에서 이러한 특성을 활용하도록 설계되어, 학습 시작 단계부터 높은 목표 도달률을 산출합니다. 이론적 분석은 명시된 가정 하에서 이러한 동작에 대한 공식적인 해석을 제공하며, 이를 베이스라인이 없는 최종 단계로 확장하여 독립적인 학습 정책의 목표 도달 확률에 대한 명시적인 하한선 (lower bounds)을 도출합니다. 연속 제어 (continuous-control) 벤치마크에 대한 실험 결과에 따르면, 제안된 방법은 경쟁적인 접근 방식들과 대등하거나 이를 능가하는 리턴 (returns)을 달성하는 동시에, 학습 정책이 베이스라인의 지원 없이 작동하는 최종 단계까지 포함하여 비교된 방법들 중 학습 전 과정에서 가장 높은 목표 도달률을 유지함을 보여줍니다.