모듈성이 지속 학습(Continual Learning)에 도움이 되는 차원성 제어 조건

구성적 학습(Compositional learning) 시스템은 새로운 지식을 습득하는 능력인 가소성(plasticity)과 이전에 학습된 구성 요소를 보존하는 안정성(stability) 사이의 균형을 맞춰야 하며, 특히 작업(task)들이 구조를 공유하여 간섭(interference)의 위험이 있을 때 더욱 그러합니다. 본 연구에서는 순차적 A-B-A 패러다임에서 모듈형 아키텍처(modular architecture), 작업 유사성(task similarity), 그리고 표현 차원성(representational dimensionality)이 어떻게 공동으로 구성적 지속 학습(compositional continual learning)을 형성하는지 연구하며, 가중치 스케일 조작을 통해 고차원 및 저차원 영역(regimes)을 유도하면서 작업 분할 순환 신경망(task-partitioned recurrent network)을 단일 네트워크 베이스라인(single-network baseline)과 비교합니다. 고차원의 "게으른(lazy)" 영역에서는 두 아키텍처 모두 유사한 성능과 내부 기하학(internal geometry)을 달성하며, 이는 표현(representations)이 약하게 제약될 때 명시적인 모듈 구조가 거의 영향을 미치지 않음을 시사합니다. 저차원의 "풍부한(rich)" 영역에서는 모듈성(modularity)이 결정적인 역할을 합니다. 모듈형 네트워크는 유사한 작업에 대해서는 중첩되고, 중간 정도의 유사성을 가진 작업에 대해서는 부분적으로 정렬되며, 서로 다른 작업에 대해서는 분리되는 단계적인 작업 특화 하위 공간(task-specific subspaces)을 개발하여, 단일 네트워크보다 더 구성적이고 해석 가능한 조직을 생성합니다. 이러한 발견은 표현 차원성과 함께 변화하는 초기화 스케일(initialization scale)에 의해 유도되는 표현 영역(representational regime)이, 지속 학습에서 구성적이고 모듈적인 구조가 기능적으로 유익하게 작용하는 시점을 결정하는 핵심 요인임을 식별하며, 안전성과 강건성(robustness)을 고정된 분리 대 공유의 문제가 아닌 표현 하위 공간의 적응적 할당(adaptive allocation) 문제로 바라보는 것을 지지합니다.