우리는 보상 머신 (Reward Machines, RMs) 세트에 의해 보상 구조가 지정되는 작업들을 위한 다중 목적 강화학습 (multi-objective reinforcement learning) 알고리즘인 Pareto Q-Learning with Reward Machines (PQLRM)을 제시합니다. PQLRM은 파레토 프런트 (Pareto front)를 근사하기 위해 벡터 값 Q-추정치 (vector-valued Q-estimates) 세트를 유지하는 Pareto Q-Learning (PQL)과, 보상 신호의 인수분해된 오토마타 (factored automaton) 구조를 활용하는 Reward Machines를 이용한 Q-Learning (QRM)의 개선 사항을 결합합니다. 이를 통해 비마르코프 (non-Markovian)적인 RM 인코딩 보상 하에서도 샘플 효율성 (sample-efficient)을 유지하는 다중 정책 (multi-policy) 알고리즘을 구현합니다. 실험 결과, PQLRM은 크로스 프로덕트 MDP (cross-product MDP)에 적용된 단순한 PQL 베이스라인보다 더 빠르게 수렴하며, QRM이 생성할 수 없는 파레토 최적 (Pareto-optimal) 정책을 합성할 수 있음을 보여줍니다.