진화 전략 (Evolution Strategies)을 이용한 LLM 미세 조정 시 망각 문제 극복

진화 전략 (Evolution Strategies, ES)은 최근 대규모 언어 모델 (Large Language Model, LLM) 미세 조정 (Fine-tuning)을 위한 강화학습 (Reinforcement Learning, RL)의 경쟁력 있는 대안으로 부상하였으며, 단순성, 확장성, 그리고 추론 전용 학습 (Inference-only training)을 통한 이점을 제공합니다. 그러나 최근 연구에 따르면 새로운 작업에 대한 ES 미세 조정이 이전 작업의 망각을 유발할 수 있음을 시사합니다. 첫째, 본 논문은 이전 작업의 망각이 (1) 돌이킬 수 없는 망각이라기보다 성능 드리프트 (Performance drift)로 특징지어지는 것이 더 적절하며, ES 학습 과정에서 이전 작업의 성능이 종종 회복된다는 점을 보여줍니다. 또한 (2) 이는 ES만의 특정한 실패 모드가 아니라, RL 방법을 이용한 미세 조정에서도 발생할 수 있음을 보여줍니다. 둘째, 본 논문은 이러한 드리프트가 언제, 왜 발생하는지를 분석하며, 이것이 ES 학습 역학, 특히 가중치 공간 (Weight space)의 약하게 제약된 방향에서의 랜덤 워크 (Random walk) 동작에 의존한다는 점을 강조합니다. 셋째, 이러한 통찰을 바탕으로 초기 모델 파라미터 방향으로 최적화를 제약하는 파라미터 공간 정규화 (Parameter-space regularization) 기술인 Anchored Weight Decay (AWD)를 소개합니다. AWD는 타겟 작업 (Target-task)의 성능을 유지하면서 이전 작업의 성능을 효과적으로 안정화하며, 훨씬 낮은 계산 비용으로 대규모 ES 인구수 (Population sizes)를 사용할 때와 유사한 이점을 달성합니다. 따라서 본 논문은 이전의 믿음과는 반대로, ES 하에서의 이전 작업 망각은 상당 부분 피할 수 있음을 보여주며, ES를 LLM의 지속 학습 (Continual learning)을 위한 유망한 접근 방식으로 자리매김합니다.