편향된 꿈: 잠재 공간 모델에서의 인식적 불확실성 정량화의 한계

요약

본 논문은 모델 기반 강화학습(MBRL)에서 잠재 역학 모델을 사용하여 인식적 불확실성(epistemic uncertainty)을 정량화하는 데 존재하는 근본적인 한계를 지적한다. 연구진은 실제 환경의 동역학이 잠재 공간 내 특정 영역으로 편향되는 '끌개 행동(attractor behavior)'을 보이며, 이로 인해 환경 역학의 불일치가 제대로 포착되지 않아 인식적 불확실성 추정의 신뢰성이 떨어진다는 것을 발견했다. 결과적으로, 모델은 실제보다 높은 예측 보상을 체계적으로 과대평가하는 경향이 있다.

핵심 포인트

• 모델 기반 강화학습(MBRL)에서 잠재 역학 모델을 사용하는 것은 일반적이지만, 인식적 불확실성 정량화는 물리적 시스템에 비해 미흡하다.
• 잠재 공간에서의 전이는 잘 표현된 영역으로 편향되는 '끌개 행동'을 보이며, 이는 실제 환경 동역학과의 괴리를 초래한다.
• 이러한 편향은 환경 역학의 불일치를 잠재 공간에서 감추어 인식적 불확실성 추정의 신뢰성을 훼손시킨다.
• 결과적으로, 모델 기반 예측(rollouts)은 실제보다 높은 보상을 체계적으로 과대평가하는 경향이 있다.