희소성, 중첩, 그리고 망각: 지속 학습에서의 표현 유지에 관한 기계론적 연구

지속 학습 (Continual Learning, CL) 시스템은 종종 이전에 습득한 지식을 망각하지만, 실제 데이터셋은 많은 요인들이 얽혀 있기 때문에 망각을 유발하는 메커니즘을 실제로 분리해내는 것은 여전히 어렵습니다. 우리는 이러한 메커니즘을 관찰하고 테스트할 수 있는 통제된 토이 월드 (toy-world) 프레임워크를 제시합니다. 합성 생성기-분리기 (generator-separator) 파이프라인을 사용하여, 우리는 정답(ground-truth) 잠재 특징 (latent features)을 정의하고, 조절 가능한 희소성 (sparsity)과 중첩 (overlap)을 가진 태스크들을 구축하며, 표현 강도 (representation strength)와 중첩 (superposition, 특징 간의 방향성 중첩)을 측정할 수 있는 정량적 지표를 도입합니다. 그런 다음, 우리는 유지 (retention), 중첩 (superposition), 그리고 노출 이력 (exposure history) 사이의 희소 동역학적 관계를 (SINDy를 통해) 피팅함으로써 표현 강도의 시간적 변화인 유지 역학 (retention dynamics)을 연구합니다. 유효 계수 (effective rank)에 기반한 상호 보완적인 태스크 수준 분석은 표현 용량 (representational capacity)이 태스크 전반에 걸쳐 어떻게 할당되는지를 특징짓습니다. 우리의 통제된 실험은 세 가지 시사점을 제공합니다. (1) 중첩 (Superposition)은 태스크 경계에서 일시적인 하락을 보이며 시간이 지남에 따라 증가하는 경향이 있으며, 이는 지속적인 드리프트 (drift)보다는 경계 특이적 간섭 (boundary-specific interference)을 시사합니다. (2) 더 높은 특징 희소성 (feature sparsity)은 더 많은 중첩을 유도하지만 반드시 망각을 일으키지는 않습니다. 표현이 강하게 유지될 때, 중첩에도 불구하고 망각을 줄일 수 있습니다. (3) 태스크 수준의 유효 계수 (effective rank)는 희소성과 함께 증가하며, 이는 희소한 체제 하에서 더 넓은 용량 사용을 나타냅니다. 종합적으로, 이러한 결과는 중첩이 많아질수록 망각이 더 많이 발생한다는 일반적인 직관을 미세하게 조정하며, 중첩이 표현 강도 및 용량 할당과 상호작용함을 보여줍니다. 우리의 토이 분석은 CL을 위한 반증 가능한 가설과 진단 도구를 제공합니다.