Tensorflow + OpenAI Gym 를 사용한 심층 강화학습 모델 구현
요약
본 문서는 TensorFlow와 OpenAI Gym을 활용하여 심층 강화학습(Deep Reinforcement Learning) 모델을 실제로 구현하는 방법을 안내합니다. 사용자는 `env.action_space`와 `env.observation_space`를 통해 환경의 행동 및 관찰 형식을 이해하고, `env.reset()`과 `env.step(action)`이라는 두 가지 핵심 API 호출을 사용하여 환경과 상호작용할 수 있습니다. 또한, Q-Learning 같은 기본적인 알고리즘 구현에 필요한 기초 지식들을 다룹니다.
핵심 포인트
- TensorFlow와 OpenAI Gym을 활용하여 실제 강화학습 모델 구현 실습을 진행합니다.
- 환경의 행동(action) 및 관찰(observation) 형식은 `env.action_space`와 `env.observation_space`로 정의됩니다.
- 환경 초기화는 `ob = env.reset()`으로 수행하며, 다음 상태를 얻기 위해 `ob_next, reward, done, info = env.step(action)`을 사용합니다.
- Gym Space의 주요 유형으로는 이산값(`Discrete`)과 다차원 수치 벡터(`Box`)가 있습니다.
- Q-Learning 등 기본적인 강화학습 알고리즘 구현에 필요한 기초 API와 개념들을 설명합니다.
이전 두 편의 글에서 많은 심층 강화학습 (Deep Reinforcement Learning) 모델의 알고리즘을 소개했습니다. 이제 야생에서 모델을 구현하는 방법을 실천해보는 시간입니다. 구현은 Tensorflow 와 OpenAI gym 환경에서 수행됩니다. 이 튜토리얼의 전체 버전 코드는 [lilian/deep-reinforcement-learning-gym] 에서 이용 가능합니다.
Atari 게임이나 기타 고급 패키지와 놀고 싶다면 몇 가지 시스템 패키지를 설치하도록 계속 진행하세요.
환경 (env) 의 행동 (action) 과 관찰 (observation) 형식은 각각 env.action_space 와 env.observation_space 로 정의됩니다.
gym spaces 의 종류:
gym.spaces.Discrete(n)
: 0 에서 n-1 까지의 이산값.
gym.spaces.Box
: 수치값의 다차원 벡터이며, 각 차원의 상한과 하한은 Box.low 와 Box.high 로 정의됩니다.
우리는 두 가지 주요 API 호출을 통해 env 와 상호작용합니다:
ob = env.reset()
환경을 원래 설정으로 초기화합니다.
초기 관찰 (observation) 을 반환합니다.
ob_next, reward, done, info = env.step(action)
env.action_space 와 호환되어야 하는 하나의 행동을 환경에 적용합니다.
새 관찰 ob_next(env.observation_space), 보상 (float), done 플래그 (bool), 및 기타 메타 정보 (dict) 를 받습니다. done=True 인 경우 에피소드가 완료되었으며, env 를 초기화하여 재시작해야 합니다. 더 읽기 .
간단한 Q-Learning
Q-learning(Watkins & Dayan, 1992) 은 행동 가치 (
AI 자동 생성 콘텐츠
본 콘텐츠는 Lilian Weng Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기