소수의 정책 집합을 이용한 불확실한 MDP에서의 미니맥스 후회 (Minimax Regret) 최적화
요약
불확실한 MDP 환경에서 제한된 수의 정책 집합을 최적화하는 k-적응형 정책 합성(k-adaptable policy synthesis) 방법을 제안합니다. 미니맥스 후회(minimax-regret)를 최소화하기 위해 KAPS 알고리즘을 개발하였으며, 실험을 통해 정책 수 증가에 따른 성능 향상을 입증했습니다.
핵심 포인트
- 불확실한 MDP 환경을 위한 k-적응형 정책 합성 프레임워크 제안
- 미니맥스 후회 목적 함수 하에서 정책 최적화 문제의 NP-hard 증명
- 중첩 분기 한정 알고리즘인 KAPS 개발 및 최적성 입증
- 정책 수를 1개에서 2개로 늘릴 때 후회(regret) 감소 효과가 가장 큼
실제 응용 분야에서의 순차적 의사결정 (Sequential decision-making)은 종종 환경 모델에 대한 불확실성을 수반합니다. 불확실한 마르코프 결정 과정 (Uncertain Markov decision processes, UMDPs)은 가능한 환경들을 상태와 행동은 공유하지만 전이 확률 (transition probabilities)과 보상 (rewards)이 잠재적으로 다른 MDP들의 집합으로 나타냅니다. 모든 가능한 MDP에 대해 단일 정책 (single policy)을 최적화하는 것은 성능을 희생할 수 있는 반면, 모든 MDP에 대해 개별적으로 최적화된 정책을 준비하는 것은 준비 및 배포 가능한 정책 수에 대한 운영적, 규제적 또는 해석 가능성 (interpretability) 제약을 위반할 수 있습니다. 우리는 실행 직전에 모델 불확실성이 해결되어, 사전에 준비된 제한된 집합으로부터 가장 적합한 정책을 선택할 수 있는 설정을 고려합니다. 우리는 미니맥스 후회 (minimax-regret) 목적 함수 하에서 이러한 $k$개의 정책 집합을 최적화하는 $k$-적응형 정책 합성 ($k$-adaptable policy synthesis)을 소개합니다. 우리는 이 문제가 NP-hard임을 증명하고, 문제 특화된 경계값 (bounds) 및 휴리스틱 (heuristics)을 갖춘 정확한 중첩 분기 한정 (nested branch-and-bound) 알고리즘인 KAPS를 개발합니다. KAPS는 어떤 MDP들이 정책을 공유할지(which MDPs share a policy)와 정책 자체를 공동으로 최적화합니다. 다양한 UMDP 벤치마크에 걸친 실험 결과, 후회 (regret)의 가장 큰 감소는 정책을 1개에서 2개로 늘릴 때 일관되게 발생함을 보여줍니다. 단일 정책 설정에서 KAPS는 솔루션 품질 면에서 기존 방법들과 경쟁력이 있으며, 훨씬 더 빈번하게 최적성 (optimality)을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기