강화학습 (RL) 일반화 성능 향상을 위한 알고리즘 및 하이퍼파라미터 SHAP 분석

요약

본 논문은 강화학습(RL) 모델의 성능이 알고리즘 및 하이퍼파라미터 설정에 매우 민감하며 발생하는 환경 간 일반화 격차 문제를 해결하기 위한 설명 가능한 프레임워크를 제안합니다. 연구진은 SHapley Additive exPlanations (SHAP) 값을 활용하여 로봇 환경 간 RL 성능을 평가하고, 특정 구성 요소가 일반화 격차에 기여하는 상대적 비중을 정량적으로 분해했습니다. 이를 통해 얻은 통찰력은 실무자들이 RL 시스템의 일반화 성능을 개선하기 위한 실행 가능한 가이드라인으로 활용될 수 있습니다.

핵심 포인트

• RL 모델의 환경 간 일반화 격차는 실제 배포 시 주요 문제로 작용하며, 구성 요소별 기여도 분석이 필요하다.
• SHAP(Shapley Additive exPlanations)를 사용하여 RL 성능에 대한 알고리즘 및 하이퍼파라미터의 영향을 정량적으로 분해하는 설명 가능한 프레임워크를 제시했다.
• 연구는 Shapley 값을 일반화 가능성과 연결하는 이론적 기반을 확립하고, 구성 요소 영향 패턴을 분석하여 실질적인 가이드라인을 제공한다.
• SHAP 가이드드 구성 선택(component selection) 방법을 통해 RL 시스템의 일반화 성능 개선에 기여할 수 있다.