Randomized Advantage Transformation (RAT): 직접 역전파를 통한 Natural Policy Gradients

요약

본 논문은 Fisher matrix 추정 및 역행렬 계산의 높은 비용 문제를 해결하기 위해 직접 역전파를 활용하는 Randomized Advantage Transformation (RAT) 방법을 제안합니다. Woodbury formula와 randomized block Kaczmarz iterations를 사용하여 정규화된 natural policy gradients를 효율적인 vanilla policy gradients 형태로 변환합니다. 실험 결과, RAT는 기존 자연 경사 방법론과 대등하거나 우수한 성능을 보이면서도 구현이 간단하고 다양한 아키텍처에 적용 가능함을 입증했습니다.

핵심 포인트

• Fisher matrix의 명시적 구성이나 켤레 기울기 솔버 없이 직접 역전파를 통해 natural policy gradients를 추정함
• Woodbury formula를 적용하여 정규화된 natural policy gradients를 변환된 advantage를 가진 vanilla policy gradients로 재구성
• randomized block Kaczmarz iterations를 통해 온폴리시 미니 배치에 대한 효율적인 계산 가능
• 연속 및 시각 제어 벤치마크에서 기존 방법론 대비 우수한 성능과 높은 아키텍처 호환성 증명