작업 다양성은 체계적인 전이를 생성하지만 지속적 강화학습을 저해한다

지속적 강화학습 (Continual reinforcement learning)은 현재의 작업에서 성능을 향상시킬 뿐만 아니라, 작업 분포 (task distributions)가 변화함에 따라 적응할 수 있는 에이전트를 생성하는 것을 목표로 합니다. 다양하고 많은 작업에 대해 에이전트를 학습시키는 것은 제로샷 일반화 (zero-shot generalization)를 유도할 수 있지만, 이전 연구들은 일반적으로 가중치가 고정된 (frozen weights) 상태에서 학습 후의 일반화 능력을 평가합니다. 작업 다양성이 분포 변화 (distribution shifts)에 걸쳐 지속적으로 학습하는 에이전트의 능력 또한 향상시키는지 여부는 여전히 불분명합니다. 우리는 작업 다양성이 독립적으로 제어 가능한 세 가지 축, 즉 에이전트가 탐색해야 하는 지도 레이아웃 (map layouts), 상호작용해야 하는 객체 (objects), 그리고 하위 목표 의존성 (sub-goal dependencies)의 계층적 구조로 구성된 GPU 가속 지속적 RL 도메인인 Banyan을 소개합니다. 개별적인 분포 변화 과정에서 각 축을 따라 다양성을 높이면, 최적 정책 (optimal policy)의 구조가 변하는 변화가 발생하더라도 에이전트가 이전 작업에서 달성한 성능에 근접한 상태에서 새로운 작업에 대한 학습을 시작하게 됩니다. 그러나 변화의 횟수가 증가함에 따라, 이러한 국소적 전이 (local transfer)만으로는 지속적인 학습을 유지하지 못합니다. 즉, 더 긴 호흡의 작업 (longer-horizon tasks)은 정체기에 도달하며, 이후의 학습이 진행된 후에는 이전의 작업 분포를 망각하게 됩니다. Banyan은 통제된 작업 다양성이 언제 전이 가능한 학습을 생성하는지, 그 전이가 언제 지속되는지, 그리고 적절한 지속적 학습 측면에서 어디가 부족한지를 연구하기 위한 벤치마크입니다.