파인튜닝 레짐이 고유한 지속적 학습 문제 정의

요약

본 논문은 지속적 학습(Continual Learning, CL) 방법론 비교 시 '파인튜닝 레짐(Fine-Tuning Regime)'을 핵심 변수로 다루어야 한다고 주장합니다. 기존 연구들은 보통 고정된 파인튜닝 환경에서 모델 성능을 평가했지만, 이 논문은 학습 가능한 매개변수 부분 공간(trainable parameter subspace)의 깊이 변화가 모델 업데이트 신호와 지식 보존에 미치는 영향을 분석했습니다. 실험 결과, 다양한 적응 레짐(adaptation regimes)에서는 기존 CL 방법론들의 상대적 순위가 일관되게

핵심 포인트

• 지속적 학습(CL) 성능 비교는 고정된 환경이 아닌 '파인튜닝 레짐'을 고려해야 합니다.
• 학습 가능한 매개변수 부분 공간의 깊이가 달라질수록 모델 업데이트 크기가 커지고, 지식 망각(forgetting)도 함께 증가하는 경향을 보였습니다.
• 다양한 벤치마크 데이터셋과 작업 순서에서 기존 CL 방법론들의 상대적 성능 순위가 레짐에 따라 크게 변동함을 입증했습니다.