계층적 메타 강화 학습을 통한 탐색

Pytorch에서 계층적 메타 강화 학습(Hierarchical Meta Reinforcement Learning)을 구현한 내용입니다. 이 구현은 Pytorch의 MAML 구현(pytorch-maml-rl)를 매우 근접하게 따릅니다.

또한, 본 설정에서 하위 레벨 기본 정책(lower level base policy)으로 사용되는 Soft actor critic을 따르고 있습니다.

이 저장소는 또한 rlkit의 SAC 구현을 활용하지만, rlkit 저장소가 패키지에 포함되어 있으므로 별도로 설치할 필요는 없습니다.

또한 이 저장소에는 논문 Diversity is all you need의 Pytorch 구현(maml_rl/policies/empowerment_skills.py)도 포함되어 있습니다.

시작하기

기존 Python 설정과의 충돌을 방지하고 프로젝트를 독립적으로 유지하기 위해, virtualenv를 사용하여 가상 환경에서 작업하는 것이 좋습니다. virtualenv 설치 방법은 다음과 같습니다:

pip install --upgrade virtualenv

가상 환경을 생성하고 활성화한 다음, requirements.txt에 명시된 요구 사항들을 설치합니다.

virtualenv venv
source venv/bin/activate
pip install -r requirements.txt

사용법

main.py 스크립트를 사용하여 알고리즘으로 강화 학습 실험을 수행할 수 있습니다. 이 스크립트는 Python 3.5로 테스트되었습니다. 참고로, 일부 환경은 Python 2.7(MuJoCo 기반 환경 제외 모든 실험)에서도 작동할 수 있습니다.

python main.py --env-name HalfCheetahDir-v1 --num-workers 8 --fast-lr 0.1 --max-kl 0.01 --fast-batch-size 20 --meta-batch-size 40 --num-layers 2 --hidden-size 100 --num-batches 1000 --gamma 0.99 --tau 1.0 --cg-damping 1e-5 --ls-max-steps 15 --output-folder maml-halfcheetah-dir --device cuda

해당 알고리즘을 사용하여 강화학습(RL) 실험을 테스트하려면 t_maml_rl.py 스크립트를 사용할 수 있습니다. 비교를 위해 Baseline과 MAML 알고리즘도 지원됩니다.