지속적 학습을 향하여: 서브스페이스 튜닝으로 인한 망각 완화

대규모 언어 모델(LLMs)은 파인튜닝(fine-tuning)을 통해 새로운 기술을 습득하지만, 이미 가지고 있던 능력을 손상시킬 수 있습니다. 즉, 치명적 망각(catastrophic forgetting)은 LLM의 지속적 학습에 있어 여전히 핵심적인 장애물입니다. 최근 연구들은 망각 현상을 파인튜닝이 가중치(weights)를 얼마나 멀리, 그리고 어떤 방향으로 이동시키는지와 연결 짓고 있습니다. 강화학습(reinforcement learning)과 같은 온-폴리시(on-policy) 방법이나 온-폴리시 증류(on-policy distillation)는 가중치 행렬의 주 특이 방향(principal singular directions)을 업데이트하는 것을 피하기 때문에 망각이 덜합니다. 이와 대조적으로, SFT는 이러한 방향을 따라 업데이트를 집중시키기 때문에 치명적 망각에 취약합니다. 본 논문에서는 각 가중치 업데이트를 하위 특이 부분 공간(bottom singular subspace)으로 제한하는 Subspace Tuning (SST)을 소개하며, 이를 통해 주 방향을 따른 변화를 제거합니다. SST는 옵티마이저 비의존적이며 SFT 및 자체 증류(self-distillation)를 포함한 파인튜닝 레시피와 잘 결합됩니다. SST는 강력한 부분 공간 보호, 밀집 그래디언트 추정(dense gradient estimation), 그리고 간단한 리프레시 메커니즘을 결합하여 이전의 직교 파인튜닝 방법보다 더 강력한 학습을 가능하게 합니다. 이러한 메커니즘을 통해 가중치 부분 공간의 최대 99%를 보호하는 것은 목표 작업 성능을 유지하면서도 보유율(retention)을 상당히 향상시킵니다. 이러한 행동은 모델 및 데이터 크기가 커질수록 강화되며, 대규모 모델 영역에서는 망각을 거의 제거합니다. SST는 또한 모델을 기본 분포(base distribution)에 가깝게 유지하여 기준선 레시피보다 2~4배 적은 KL 드리프트(KL drift)를 유도합니다. 전반적으로, SST는 학습-망각 파레토 경계(learning--forgetting Pareto frontier)를 발전시켜, 사전 학습된 언어 모델을 파인튜닝하는 데 실용적인 기본값(default)이 됩니다.