신경 서브스페이스 재할당 (Neural Subspace Reallocation): 검색 기반 서브스페이스 메모리 관리로서의 지속 학습

우리는 지속 학습 (Continual Learning)을 파라미터 서브스페이스 (Parameter Subspaces)에 대한 메모리 관리로 재정의하는 Neural Subspace Reallocation (NSR)을 소개합니다. NSR은 Low-Rank Adaptation (LoRA) 모듈을 일회성 작업별 어댑터 (per-task adapters)로 취급하는 대신, 다음과 같은 순환 과정을 통해 동결된 백본 (frozen backbone) 상에서 압축 가능하고 검색 가능한 메모리 단위로 관리합니다: (1) SVD를 통해 학습된 LoRA를 압축하고, (2) 이를 TaskKnowledgeBank에 저장하며, (3) 임베딩 유사도 (embedding similarity)를 통해 관련 있는 과거의 LoRA를 호출하여 새로운 작업 또는 복귀하는 작업을 웜 스타트 (warm-start)하고, (4) 증류 (distillation)를 통해 이전 작업들을 보호하면서 활성 서브스페이스를 그에 따라 재할당합니다. 우리는 순환 환경에서 메모리가 없는 할당 정책 (memoryless allocation policy)은 Bank에 의해 뒷받침되는 이력 인식 정책 (history-aware policy)에 비해 누적 후회 (cumulative regret) $\Omega(T(M-1)\Delta_{\text{switch}})$를 발생시킨다는 것을 증명합니다 (정리 1). 실험적으로, Split-CIFAR-100에서 Bank는 예측된 바와 같이 순환 회복 시간 (cyclic recovery time)을 10배 단축시켰으며, 이질적인 5-Datasets 벤치마크에서 NSR은 가장 높은 정확도와 가장 적은 망각을 달성하였고, 메모리가 없는 휴리스틱 (memoryless heuristics)보다 역방향 전이 (backward transfer)가 0에 약 9배 더 가깝게 나타났습니다. 결정적으로, 우리는 어떤 구성 요소가 중요한지를 격리하여 확인하는 통제 연구를 수행했습니다. Bank를 고정하고 할당 규칙 (allocation rule)만 변경했을 때, 단순한 유사도 기반 검색 규칙이 학습된 강화학습 (Reinforcement-Learning) 컨트롤러와 대등하거나 더 나은 성능을 보임을 발견했습니다 (재발 작업 회복에 각각 0단계와 1.8단계가 소요되었으며 동일한 정확도에 도달함). 따라서 우리의 핵심적이고 정직한 발견은, 고정된 용량 하에서 지속 학습 성능을 주도하는 것은 학습된 할당 정책이 아니라 메모리 메커니즘(압축 및 유사도 검색)이라는 점입니다. 메모리 예산 분석을 통해 압축된 Bank가 작업당 0.29 MB의 파라미터 메모리로 작게 유지됨을 확인하였으며, 따라서 top-K 유지 제한 (retention cap)을 통해 전체 점유 공간을 제한하면서도 유지된 작업들에 대한 빠른 회복을 보존할 수 있습니다.