확장 가능하고 샘플 효율적인 심층 강화학습 (Deep Reinforcement Learning)을 위한 직접적 어드밴티지 추정 (Direct

직접적 어드밴티지 추정 (Direct Advantage Estimation, DAE)은 심층 강화학습 (Deep Reinforcement Learning) 알고리즘의 샘플 효율성 (sample efficiency)을 향상시키는 것으로 나타났습니다. 그러나 환경의 완전한 관측 가능성 (full environment observability)에 의존한다는 점은 실제 환경에서의 적용 가능성을 제한하며, 전이 확률 (transition probabilities)을 모델링해야 한다는 요구 사항은 고차원 관측값 (high-dimensional observations)에 대해 상당한 계산 오버헤드 (computational overhead)를 발생시킵니다. 본 연구에서는 이러한 두 가지 제한 사항을 모두 해결합니다. 첫째, 최소한의 수정만으로 DAE의 이론적 프레임워크를 부분 관측 가능 도메인 (partially observable domains)으로 확장합니다. 둘째, 전이 확률을 효율적으로 근사하는 이산 잠재 역학 모델 (discrete latent dynamics models)을 도입하여 계산 복잡도 (computational complexity)를 줄입니다. 우리는 Arcade Learning Environment에서 우리의 접근 방식을 평가하였으며, DAE가 높은 샘플 효율성을 유지하면서 함수 근사기 (function approximator) 용량에 따라 효과적으로 확장됨을 확인했습니다.