빠르고 느린 변분 지속 학습 (Fast and Slow Variational Continual Learning)

지속 학습 (Continual learning)은 현대의 심층 네트워크 (deep networks)에 있어 여전히 주요한 과제로 남아 있으며, 이는 부분적으로 흔히 사용되는 옵티마이저 (optimizers)들이 지속적인 적응을 위한 내재적인 메커니즘을 결여하고 있기 때문입니다. 이러한 자연스러운 메커니즘 중 하나는 안정성 (stability)과 가소성 (plasticity)의 균형을 맞추기 위한 빠르고 느린 적응 (fast and slow adaptation)입니다. 이 메커니즘은 신경과학 (neuroscience)과 생물학 (biology)에 깊은 뿌리를 두고 있지만, 이를 흔히 사용되는 옵티마이저에 어떻게 가장 잘 통합할지에 대해서는 합의된 바가 없습니다. 본 논문에서는 과거의 사후 확률 (posteriors)을 미래의 사전 확률 (priors)로 사용하는 VCL 프레임워크를 통해 이를 쉽게 수행할 수 있음을 보여줍니다. 우리의 핵심 아이디어는 학습이 진행됨에 따라 지식의 드리프트 (drift)를 늦추기 위해 과거 사후 확률의 병합 (merging)을 통해 느린 적응 (slow adaptation)을 통합하는 것입니다. 병합된 사후 확률은 이후 빠른 가중치 업데이트 (fast-weight updates)를 구현하기 위한 VCL 업데이트의 사전 확률 (prior)로 사용됩니다. 이러한 단계들은 Adam과 형태 및 비용이 거의 동일한 IVON 옵티마이저 (optimizer)에서 매끄럽게 구현될 수 있습니다. 우리는 이 새로운 옵티마이저를 지속 IVON (Continual IVON, CoVON) 옵티마이저라고 부르며, 이것이 기존의 VCL 옵티마이저들보다 일관되게 개선될 뿐만 아니라, 도메인 점진적 학습 (domain-incremental learning), 지속적 사전 학습 (continual pre-training), 그리고 대규모 언어 모델 (large language models)의 미세 조정 (fine-tuning) 전반에 걸쳐 다른 가중치 정규화 (weight-regularization) 전략들보다 더 나은 성능을 보임을 입증합니다.