Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as

요약

본 논문은 대형 언어 모델(LLMs) 파인튜닝 과정에서 사전 학습과 동일한 최적화기를 사용하는 '최적화기-모델 일관성' 현상을 제시합니다. 이 방법은 다른 접근 방식보다 더 나은 학습-망각 트레이드오프를 달성하여, 새로운 작업에 대한 성능을 유지하면서도 기존의 사전 학습 지식 손실(망각)을 최소화하는 것으로 나타났습니다. 또한, 특정 최적화기(Muon)가 추론 작업에서 기대만큼 좋은 성능을 보이지 않을 수 있음을 실험적으로 분석했습니다.

핵심 포인트

• 최적화기-모델 일관성: 사전 학습과 동일한 최적화기를 사용하면 모델이 지식을 덜 잊어버리는(better learning-forgetting trade-off) 효과를 얻을 수 있다.
• 최적화기는 활성화에 대한 정규화 효과를 제공하여, 파인튜닝 가중치 업데이트가 사전 학습 지식의 망각을 줄이는 특정 구조를 따르도록 유도한다.
• Muon과 AdamW 비교 실험 결과, Muon은 단순 암기 경향이 강해 소량 데이터 기반 패턴 획득에 부정적인 영향을 미칠 수 있다.
• 전체 파인튜닝(Full Finetuning) 시 최적화기의 선택이 모델의 지식 보존 능력 및 추론 성능에 중요한 역할을 한다.