Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 Deep RL의 취약성을 신경망 가소성 손실에 기인한다고 보고, 확률적 환경에서의 상호작용을 체계적으로 연구했습니다. 관측 및 행동 노이즈가 포함된 환경에서 SAC 에이전트를 훈련한 결과, 가소성 보존 방법들이 학습 강건성을 높이는 것을 확인했습니다. 또한, 환경의 복잡도에 따라 실패 모드가 달라짐을 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기심층 강화학습 (Deep reinforcement learning, RL)은 순차적 의사결정(sequential decision-making)을 위한 강력한 프레임워크입니다. 최근 몇 년 동안 많은 주목할 만한 성공에도 불구하고, Deep RL은 취약하다는 것으로 알려져 있습니다. 새롭게 등장하는 연구 분야 중 일부는 이러한 취약성을 신경망의 가소성 손실(loss of plasticity)에 기인한다고 주장합니다. 그러나 가소성 손실은 지금까지 확률적 환경(stochastic environments)에서는 충분히 연구되지 않았습니다. 우리는 이 상호작용을 체계적으로 연구하며, 관측 및 행동 노이즈(observation and action noise)의 통제된 수준으로 보강된 세 가지 DeepMind Control 태스크에서 SAC 에이전트(SAC agents)를 훈련시켰습니다. 그 결과, 가소성을 보존하는 방법들이 두 가지 더 어려운 태스크에서 학습 강건성(learning robustness)을 증가시키는 것을 발견했으며, 이러한 장점은 관측 노이즈가 증가함에 따라 커지는 것으로 나타났습니다. 한편, 리셋(resets)과 레이어 정규화(layer normalization)를 결합하는 방식은 테스트된 모든 관측 노이즈 수준에서 리셋만 사용하는 것보다 성능이 떨어졌습니다. 나아가, 확률적 특성(stochasticity)은 더 어려운 환경에서 가소성 손실을 가속화할 수 있는 반면, 쉬운 설정에서는 노이즈가 가소성을 유지하는 정규화기(regularizer) 역할을 할 수 있습니다. 마지막으로, 가소성 손실은 훈련 초기 단계에 가장 두드러지게 나타납니다. 가장 어려운 확률적 환경 설정에서는 점진적인 가소성 손실보다는 TD 불안정성(TD instability)이 지배적인 실패 모드(failure mode)가 됩니다.