손실 적응형 학습률을 통한 망각 없는 미세 조정 (Fine-Tuning Without Forgetting via Loss-Adaptive

새로운 데이터로 대규모 언어 모델 (Large Language Models, LLMs)을 미세 조정 (Fine-tuning)하면 작업 성능은 향상되지만, 사전 학습 (Pretraining) 중에 습득한 능력은 저하되는데, 이를 치명적 망각 (Catastrophic forgetting) 현상이라고 합니다. 기존 방법들은 손실 (Loss)이 높은 토큰이나 시퀀스를 억제하도록 미세 조정 목적 함수 (Fine-tuning objective)를 수정하여 이를 완화하려 하지만, 이러한 토큰들은 새로운 작업을 학습하는 데 필수적이며, 특히 사전 학습 범위가 좁은 작업에서 더욱 그러합니다. 이러한 설정에서는 어려운 토큰 (Hard tokens)이 여전히 학습에 기여해야 하므로, 이들을 억제하지 않으면서 망각을 제어해야 합니다. 우리는 이를 수행하기 위한 간단한 메커니즘을 확인했습니다. 단계별 망각 (Per-step forgetting)은 학습률 (Learning rate)과 현재 학습 손실 (Training loss)의 제곱근의 곱에 의해 제한됩니다. 이는 손실이 높은 배치 (High-loss batches)가 특히 망각을 유도하기 쉽다는 것을 시사합니다. 이러한 관찰에 착안하여, 우리는 미세 조정 목적 함수를 변경하지 않으면서도 손실이 높은 배치에서는 학습률을 낮추고 모델이 수렴함에 따라 학습률을 높이는 손실 적응형 학습률 스케줄 (Loss-adaptive learning-rate schedule)인 FINCH를 소개합니다. 지식 습득 (Knowledge acquisition), 과학 (Science), 저자원 언어 적응 (Low-resource language adaptation) 벤치마크 전반에 걸쳐, FINCH는 표준 미세 조정의 작업 성능을 유지하면서도 망각을 평균 93% 감소시켰습니다. Qwen3-4B 지식 습득 테스트에서 FINCH는 TruthfulQA 성능 저하를 5배 줄였고 HaluEval 저하를 역전시켰으며, 신뢰도 교정 (Confidence calibration)을 더 잘 보존했습니다. 전반적으로 우리의 결과는 학습률 스케줄이 단순히 타겟 작업 최적화를 넘어, 미세 조정 과정에서 모델의 행동을 형성하는 효과적인 도구임을 보여줍니다.