이전 두 편의 글에서 많은 심층 강화학습 (Deep Reinforcement Learning) 모델의 알고리즘을 소개했습니다. 이제 야생에서 모델을 구현하는 방법을 실천해보는 시간입니다. 구현은 Tensorflow 와 OpenAI gym 환경에서 수행됩니다. 이 튜토리얼의 전체 버전 코드는 [lilian/deep-reinforcement-learning-gym] 에서 이용 가능합니다.

Atari 게임이나 기타 고급 패키지와 놀고 싶다면 몇 가지 시스템 패키지를 설치하도록 계속 진행하세요.

환경 (env) 의 행동 (action) 과 관찰 (observation) 형식은 각각 env.action_space 와 env.observation_space 로 정의됩니다.

gym spaces 의 종류:

gym.spaces.Discrete(n)
: 0 에서 n-1 까지의 이산값.
gym.spaces.Box
: 수치값의 다차원 벡터이며, 각 차원의 상한과 하한은 Box.low 와 Box.high 로 정의됩니다.

우리는 두 가지 주요 API 호출을 통해 env 와 상호작용합니다:

ob = env.reset()

환경을 원래 설정으로 초기화합니다.
초기 관찰 (observation) 을 반환합니다.
ob_next, reward, done, info = env.step(action)

env.action_space 와 호환되어야 하는 하나의 행동을 환경에 적용합니다.
새 관찰 ob_next(env.observation_space), 보상 (float), done 플래그 (bool), 및 기타 메타 정보 (dict) 를 받습니다. done=True 인 경우 에피소드가 완료되었으며, env 를 초기화하여 재시작해야 합니다. 더 읽기 .

간단한 Q-Learning
Q-learning(Watkins & Dayan, 1992) 은 행동 가치 (