강도 인의 사전 학습 (Sharpness-Aware Pretraining) 은 재기억을 완화합니다

요약

본 논문은 사전 학습 과정에서 '강도 인 최소화(Sharpness-Aware Minimization, SAM)'와 같은 기법을 사용하여 모델의 최적화 경로를 평평한 최소점(flat minima)으로 유도하는 것이 후속 훈련 및 양자화 단계에서 발생하는 성능 저하(재기억, Catastrophic Forgetting)를 완화할 수 있음을 보여줍니다. 연구 결과에 따르면, SAM과 같은 접근법은 다양한 데이터셋에서 최대 80%의 재기억 감소를 가져와 다운스트림 성능을 크게 개선하며, 이러한 효과는 모델 규모가 커져도 일관되게 유지됩니다.

핵심 포인트

• 사전 학습 시 '강도 인 최소화(SAM)' 같은 기법을 사용하여 평평한 최소점(flat minima)으로 최적화를 유도하는 것이 중요합니다.
• 이러한 사전 학습 방법은 모델의 후속 파라미터 업데이트(예: 포스트 훈련, 양자화) 이후 발생하는 성능 저하(재기억)를 효과적으로 완화합니다.
• SAM과 같은 개입은 다양한 데이터셋에서 최대 80%에 달하는 재기억 감소를 가져와 다운스트림 성능을 일관되게 개선합니다.
• 이러한 원리는 모델 크기에 관계없이(20M~150M 파라미터) 효과적이며, 실제 대규모 모델에도 적용 가능함을 입증했습니다.