매개변수화된 액션 마르코프 결정 과정(PAMDP)을 위한 지식 및 기울기 기반 강화학습

원문 발행 2026. 07. 15. 00:57원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 기호적 액션과 수치적 매개변수를 결합한 PAMDP 환경에서의 강화학습 문제를 다룹니다. 기존 방법의 샘플 비효율성을 개선하기 위해, 신경-기호적 지식 및 기울기 기반 강화학습(KGRL) 알고리즘을 제안합니다. KGRL은 도메인 지식을 활용하여 액션을 가지치기하고 매개변수를 제약함으로써 훈련 효율성과 성능을 동시에 높입니다.

핵심 포인트

PAMDP 환경에서 샘플 비효율성 문제를 해결하는 새로운 접근법 제시
KGRL 알고리즘은 Datalog 기반의 도메인 지식을 활용하여 액션 가지치기 수행
지식과 기울기를 결합하여 훈련 효율성과 최적 매개변수 추정 능력을 향상
단순히 성능만 높이는 것이 아니라, 국소적인 절차적 설명까지 제공함

본 논문에서는 각 결정이 기호적 액션과 수치적 매개변수로 구성되는 매개변수화된 액션 마르코프 결정 과정(Parametrized Action Markov Decision Processes, PAMDP)에서의 강화학습(Reinforcement Learning)을 연구합니다. 이러한 환경에서 강화학습 알고리즘은 일반적으로 단일 샷 추정기(one-shot estimators)를 사용하여 매개변수를 결정하며, 이는 학습 샘플의 비효율성을 초래합니다. 대부분의 PAMDP 환경에서는 명시적이지만 불완전한 지식(예: 규칙, 안전 제약 조건 또는 전문가 휴리스틱)이 사용 가능하지만, 이를 강화학습 에이전트의 훈련 샘플 효율성을 높이는 데 직접적으로 사용하는 경우는 드뭅니다. 우리는 이러한 격차를 해소하기 위해 새로운 신경-기호적 지식 및 기울기 기반 강화학습(Neuro-Symbolic Knowledge- and Gradient-Guided Reinforcement Learning, KGRL) 알고리즘을 제안합니다. KGRL은 Datalog 지식 기반에서 도메인 지식을 사용하여 주어진 상태에 대해 적용 가능한 액션의 집합과 실현 가능한 매개변수를 도출합니다. 이를 통해 결정 공간에서 비적용 가능한 액션을 가지치기(prune)하고, 나머지 액션들의 매개변수 공간을 제약할 수 있습니다. 그런 다음 기울기 기반의 매개변수 정제 루프를 사용하여 에이전트의 훈련 및 배포 중에 최적의 매개변수를 추정합니다. KGRL은 궤적을 따라 활성화된 규칙들을 기록함으로써, 액션 가지치기와 매개변수 제약에 대한 국소적인 절차적 설명(local procedural explanations)도 추가로 제공합니다. 전반적으로, KGRL은 에이전트의 탐색과 배포를 실현 가능하고 제약 인식적인 결정으로 안내하는 동시에 훈련 중 샘플 효율성을 높입니다. KGRL은 PAMDP에서 샘플 효율성과 에피소드 리턴(episodic return) 모두에서 최첨단 RL 기준 모델을 능가합니다.

AI 자동 생성 콘텐츠

원문 바로가기

매개변수화된 액션 마르코프 결정 과정(PAMDP)을 위한 지식 및 기울기 기반 강화학습

요약

핵심 포인트

댓글