ORCAID: 연속 액션 공간을 위한 사선 규칙 기반 해석 정책 (Oblique Rule-Based Continuous-Action
요약
ORCAID는 연속 액션 공간을 가진 복잡한 환경에서 훈련된 강화학습(RL) 에이전트로부터 해석 가능한 규칙 기반 정책을 추출하는 새로운 방법을 제안합니다. 이 방법은 상태 공간을 초평면으로 분할하고 국소 선형 모델을 적합시키는 효율적인 사선 결정 트리 훈련 알고리즘에 기반합니다. ORCAID는 간결한 규칙 세트를 도출하면서도 강력한 성능을 유지함을 입증했습니다.
핵심 포인트
- ORCAID는 연속 액션 공간의 RL 정책 해석 문제를 해결합니다.
- 상태 공간을 초평면으로 분할하고 국소 선형 모델을 적합시킵니다.
- 효율적인 사선 결정 트리 훈련 알고리즘을 사용합니다.
- 추출된 규칙 기반 정책이 원래 심층 RL 정책과 유사하거나 더 나은 성능을 보입니다.
설명 가능성(Explainability)은 강화학습(RL)에서 여전히 핵심적인 문제입니다. 복잡한 환경에서 훈련된 에이전트로부터 해석 가능한 정책을 추출하는 것은 특히 액션 공간이 연속적일 때 매우 어렵습니다. 우리는 ORCAID를 소개합니다. 이는 연속 액션 공간을 가진 혼합 연속-이산 환경에서 작동하는 RL 에이전트로부터 해석 가능한 규칙 기반 정책을 추출하기 위한 새로운 방법입니다. 우리의 주요 기여는 초평면(hyperplanes)으로 상태 공간을 분할하고 국소 선형 모델을 적합시키는 효율적인 사선 결정 트리 훈련 알고리즘입니다. 핵심 아이디어는 세 단계의 분할 탐색에 있습니다: 효율적인 무작위 초기화, 국소 정제(local refinement), 그리고 역방향 제거(backward elimination)입니다. 마지막으로, 인접한 리프 노드들을 병합하여 주어진 심층 RL 정책을 설명하는 간결한 해석 가능한 규칙 세트를 도출합니다. 우리는 여러 RL 환경에 걸쳐 ORCAID를 평가했으며, 추출된 규칙 기반 정책이 적은 수의 매개변수로도 강력한 성능을 유지하며, 심지어 원래의 심층 RL 정책의 성능을 개선하는 데 사용될 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기