ReShap: 고차원 다중 행동 환경을 위한 해석 가능한 강화학습

요약

본 논문은 고차원 다중 행동 환경에서 RL 정책의 해석 가능성을 높이기 위해 ReShap 프레임워크를 제안합니다. ReShap은 원본 관측값으로부터 특징을 추출하고 SHAP 기반 기여도 분석을 통해 심층 RL 정책을 결정 트리, 선형/로지스틱 회귀 등의 해석 가능한 대리 모델로 증류합니다. Atari 및 Box2D 환경 평가 결과, ReShap이 높은 성능과 명확성을 유지함을 입증했습니다.

핵심 포인트

• ReShap은 고차원 다중 행동 환경에 Shapley 기반 해석 가능성을 확장한 프레임워크입니다.
• 심층 RL 정책을 결정 트리 등 해석 가능한 대리 모델로 증류하는 방식을 사용합니다.
• 세 가지 모델군(결정 트리, 선형/로지스틱 회귀)의 충실도와 성능을 비교했습니다.
• 평가 결과, 결정 트리가 일반적으로 가장 우수한 명확성과 과제 성능을 보였습니다.