SAVGO: 연속 제어에서 코사인 유사성을 활용한 상태-행동 가치 기하학 학습

요약

SAVGO는 강화학습(RL)의 샘플 효율성을 높이기 위해 상태-행동 가치 기하학을 활용하는 새로운 알고리즘입니다. 이 방법은 유사한 행동-가치 추정을 가진 쌍이 높은 코사인 유사도를 갖도록 임베딩 공간을 학습하며, 이를 통해 정책 업데이트를 지역적 기울기 기반 방식에서 벗어나 더 넓고 높은 가치의 영역으로 직접 안내할 수 있습니다. SAVGO는 표현 학습, 가치 추정 및 정책 최적화를 단일 기하학 일관성 목표로 통합하여 오프-폴리시 훈련의 확장성을 유지하며, 연속 제어 과제에서 강력한 성능 개선을 입증했습니다.

핵심 포인트

• SAVGO는 상태-행동 가치(State-Action Value) 기하학 학습을 통해 RL의 샘플 효율성 문제를 해결합니다.
• 핵심 아이디어는 유사한 행동-가치 추정 쌍이 임베딩 공간에서 높은 코사인 유사도를 갖도록 강제하는 것입니다.
• 이를 통해 정책 업데이트가 단순히 지역적 기울기(local gradient)를 따르는 것이 아니라, 기하학적으로 더 가치가 높은 영역으로 직접 안내됩니다.
• SAVGO는 표현 학습, 가치 추정 및 정책 최적화를 하나의 일관된 기하학 목표로 통합합니다.