손실 적응형 학습률을 통한 망각 없는 미세 조정 (Fine-Tuning Without Forgetting via Loss-Adaptive

요약

대규모 언어 모델(LLM) 미세 조정 시 발생하는 치명적 망각(Catastrophic forgetting) 문제를 해결하기 위해, 손실 값에 따라 학습률을 조절하는 FINCH 기법을 제안합니다. FINCH는 손실이 높은 배치에서는 학습률을 낮추고 모델이 수렴함에 따라 높이는 손실 적응형 학습률 스케줄을 사용하여, 기존 지식을 보존하면서도 새로운 작업 성능을 유지합니다. 실험 결과, FINCH는 표준 미세 조정 대비 망각을 평균 93% 감소시키며 뛰어난 지식 보존 능력을 입증했습니다.

핵심 포인트

• 치명적 망각은 손실(Loss)이 높은 토큰이나 배치가 학습을 주도할 때 발생하기 쉬움
• FINCH는 미세 조정 목적 함수를 수정하지 않고 학습률 스케줄링만으로 망각을 제어함
• 손실이 높은 배치에서는 학습률을 낮추고, 모델 수렴 시에는 학습률을 높이는 방식 채택
• Qwen3-4B 모델 테스트 결과, 지식 습득 및 신뢰도 교정 보존 측면에서 탁월한 성능 확인
• 학습률 스케줄링이 단순 최적화를 넘어 모델의 행동을 형성하는 중요한 도구임을 시사