파인튜닝 레짐이 고유한 지속적 학습 문제 정의

지속적 학습(Continual Learning, CL)은 모델이 이전에 학습한 지식을 유지하면서 순차적으로 작업을 습득하는 방식을 연구합니다. CL 방법론의 벤치마킹에서 상당한 진전이 있었음에도 불구하고, 비교 평가는 일반적으로 파인튜닝 레짐(fine-tuning regime)을 고정합니다. 본 논문에서는 trainable parameter subspace에 의해 정의되는 이 파인튜닝 레짐 자체가 핵심 평가 변수임을 주장합니다. 우리는 적응 레짐(adaptation regimes)을 고정된 trainable subspace 위에서의 투영 최적화(projected optimization)로 형식화하고, trainable depth를 변경하는 것이 현재 작업 적합성(current task fitting)과 지식 보존(knowledge preservation)이 작동하는 효과적인 업데이트 신호(effective update signal)를 변화시킨다는 것을 보여줍니다. 이러한 분석은 방법론 비교가 레짐 전반에 걸쳐 불변할 필요가 없다는 가설을 동기 부여합니다.

우리는 작업 증분 CL(task incremental CL), 다섯 가지 trainable depth 레짐, 그리고 네 가지 표준 방법인 온라인 EWC, LwF, SI, GEM에서 이 가설을 테스트합니다. MNIST, Fashion MNIST, KMNIST, QMNIST, CIFAR-100의 다섯 가지 벤치마크 데이터셋과 각 데이터셋당 11가지 작업 순서에 걸쳐, 우리는 방법론들의 상대적 순위가 레짐 전반에 걸쳐 일관되게 유지되지 않음을 발견합니다. 나아가, 우리는 더 깊은 적응 레짐이 더 큰 업데이트 크기(larger update magnitudes), 더 높은 망각(higher forgetting)과 연관되어 있으며, 이 둘 사이에 더 강한 관계가 있음을 보여줍니다. 이러한 결과는 CL에서의 비교 결론이 선택된 파인튜닝 레짐에 매우 크게 의존할 수 있음을 보여주며, trainable depth를 명시적인 실험 인자(explicit experimental factor)로 다루는 레짐 인식 평가 프로토콜(regime-aware evaluation protocols)을 동기 부여합니다.