보상 머신(Reward Machines)을 이용한 파레토 Q-러닝 (Pareto Q-Learning with Reward Machines)

요약

보상 머신(Reward Machines)을 활용하여 다중 목적 강화학습의 효율성을 높인 PQLRM 알고리즘을 제안합니다. 이 알고리즘은 파레토 프런트를 근사하는 PQL과 보상 구조를 활용하는 QRM을 결합하여 비마르코프적 환경에서도 높은 샘플 효율성을 보여줍니다.

핵심 포인트

• PQL과 QRM을 결합한 새로운 다중 목적 강화학습 알고리즘 PQLRM 제안
• 비마르코프적 보상 구조에서도 높은 샘플 효율성 유지
• 기존 PQL 베이스라인 대비 빠른 수렴 속도 입증
• QRM이 생성하지 못하는 파레토 최적 정책 합성 가능