강화학습 (RL)을 위한 Answer-Set Programming 기반의 추상화

강화학습 (Reinforcement Learning, RL)은 자율 에이전트가 경험으로부터 정책 (policies)을 학습할 수 있게 해주지만, 현실적인 문제들은 종종 거대한 상태 공간 (state spaces)을 포함하며, 이는 학습과 일반화 (generalisation)를 어렵게 만듭니다. 따라서 추상화 (Abstraction)와 근사 (approximation)는 필수적입니다. 관계형 강화학습 (Relational Reinforcement Learning, RRL)은 객체와 그들 사이의 관계에 대해 추론할 수 있는 방법을 제공하며, Martijn van Otterlo의 CARCASS 프레임워크는 논리적 표현 (logical representations)이 1차 도메인 (first-order domains)에서의 마르코프 결정 과정 (Markov Decision Processes, MDPs)을 어떻게 모델링할 수 있는지 보여줍니다. 원래 Prolog로 구현되었던 CARCASS는 도메인 지식 (domain knowledge)을 활용하여 강력한 추상화를 생성합니다. 우리는 CARCASS 추상화를 구현하기 위해, Prolog와는 대조적으로 풍부하고 완전 선언적인 (fully declarative) 모델링 언어인 Answer-Set Programming (ASP)을 탐구합니다. 우리는 두 가지 도메인인 Blocks World와 Minigrid의 사례 연구를 통해 우리의 ASP 기반 구현을 평가합니다. 우리의 결과는 ASP를 결합한 CARCASS가 특히 도메인 지식을 사용할 수 있는 경우, RL을 위한 추상화를 구축하는 데 유망한 접근 방식을 제공함을 나타냅니다.