개방형 학습 (Open-Ended Learning)을 위한 정보 이론적 정의

점점 더 많은 연구가 개방형 환경 (open-ended environment)에서 작동하며 능력을 지속적으로 확장할 수 있는 AI 시스템의 커다란 잠재력을 가리키고 있습니다. 하지만 아직 개방성 (open-endedness)에 대한 일관된 정의나, 에이전트가 개방형 환경을 어떻게 탐색해야 하는지에 대한 이론은 존재하지 않습니다. 우리는 새로운 개념인 ${ extit bit-equivalent}$ (비트 등가)에 기반한 정보 이론적 (information-theoretic) 정의를 도입합니다. 이 개념은 기대 보상 (expected reward)의 각 단계에 도달하는 데 필요한 정보를 정량화합니다. 우리는 에이전트가 비트 등가 (bit-equivalent)에서 선형적 성장 (linear growth)을 달성할 수 있다면 해당 환경을 개방형이라고 간주합니다. 우리는 고전적인 밴딧 환경 (bandit environments)은 개방형이 아님을 입증하고, 개방형인 밴딧 환경을 공식화합니다. 또한, 이 환경에서 개방형 학습 (open-ended learning)을 달성하는 알고리즘을 소개합니다.