Conservative Q-Learning (CQL)

PyTorch를 이용한 CQL 알고리즘(Paper)의 구현체입니다. 이 코드는 이산 액션 공간을 위한 DQN-CQL 버전, 연속 액션 공간을 위한 SAC-CQL 버전, 그리고 이산 CQL-SAC 구현을 포함하고 있습니다.

설정 (Setup)

-> conda 환경 [ ]
-> requirement.txt [ ]

실행 (Run)

훈련하고자 하는 알고리즘 폴더([CQL-DQN, CQL-SAC, CQL-SAC-discrete])를 선택하고 다음 명령어를 실행합니다: python train.py

온라인 RL 결과:

기본 CQL-DQN

alt_text

CQL-SAC

alt_text

CQL-SAC-discrete

이산 CQL-SAC 구현과 일반 이산 SAC를 비교한 내용입니다.

CartPole

alt_text

LunarLander

alt_text

오프라인 RL 결과:

alt text

결과

모든 훈련 결과와 하이퍼파라미터는 wandb 프로젝트에서 확인할 수 있습니다.

TODO:

• readme 업데이트 [ ]
• 분포적 Q-함수 추가 [ ]

도움말 및 이슈:

피드백, 발견된 버그, 개선 사항 또는 기타 모든 것에 열려있습니다. 메시지를 남기거나 저에게 연락해 주세요.

작성자 (Author)

• Sebastian Dittert

이 코드를 여러분의 프로젝트나 연구에 자유롭게 사용하세요.