Operator-Guided Invariance Learning for Continuous Reinforcement Learning

요약

본 논문은 연속 시간 및 상태/행동 공간을 갖는 강화학습(RL)의 불안정성 문제를 해결하기 위해 'VPSD-RL'이라는 새로운 프레임워크를 제안합니다. 이 방법은 리 군 작용과 관련된 역행 연산자를 사용하여 가치 보존 매핑을 정의하고, 이를 제어된 확산 모델링에 통합하여 연속 RL을 수행합니다. VPSD-RL은 해밀턴-자코비-벨만 불일치가 작은 경우 근사 가치 보존 구조를 찾고, 관련된 리 군 연산자를 검색함으로써 정확한 및 근사 가치 보존 구조를 모두 발견할 수 있습니다.

핵심 포인트

• VPSD-RL 프레임워크는 연속 RL의 데이터 효율성과 안정성을 향상시키는 것을 목표로 합니다.
• 가치 보존 매핑을 정의하기 위해 리 군 작용과 관련된 역행 연산자(pullback operators)를 사용합니다.
• 이 방법은 해밀턴-자코비-벨만 불일치를 활용하여 근사 가치 보존 구조를 찾고, 이를 통해 일반적인 연속 시스템에 적용 가능합니다.
• VPSD-RL은 미분 가능한 모델 적합 및 결정식 방정식 잔차 최소화(determining-equation residual minimization)를 통해 무한소 생성자를 학습하고 ODE 흐름으로 변환하여 RL에 통합됩니다.