소수의 정책 집합을 이용한 불확실한 MDP에서의 미니맥스 후회 (Minimax Regret) 최적화

요약

불확실한 MDP 환경에서 제한된 수의 정책 집합을 최적화하는 k-적응형 정책 합성(k-adaptable policy synthesis) 방법을 제안합니다. 미니맥스 후회(minimax-regret)를 최소화하기 위해 KAPS 알고리즘을 개발하였으며, 실험을 통해 정책 수 증가에 따른 성능 향상을 입증했습니다.

핵심 포인트

• 불확실한 MDP 환경을 위한 k-적응형 정책 합성 프레임워크 제안
• 미니맥스 후회 목적 함수 하에서 정책 최적화 문제의 NP-hard 증명
• 중첩 분기 한정 알고리즘인 KAPS 개발 및 최적성 입증
• 정책 수를 1개에서 2개로 늘릴 때 후회(regret) 감소 효과가 가장 큼