새로운 태스크(Task)로 학습된 모델은 일반적으로 이전 태스크의 성능이 저하되는데, 이러한 현상을 망각 (Forgetting)이라고 합니다. 전통적으로 망각을 완화하기 위해서는 이전 태스크의 저장된 예시(Exemplars)를 재생 (Replaying)해야 했으나, 이는 종종 비현실적입니다. 이와 대조적으로, 언어 모델 (Language Models)은 자신의 학습 분포 (Training Distribution)로부터 샘플을 추출할 수 있으며, 본 연구에서는 이러한 자기 생성 샘플 (Self-generated samples)이 효과적인 재생 데이터 (Replay data)로 작용하여 망각을 거의 제거할 수 있음을 보여줍니다. 우리는 그럼에도 불구하고 모델에 남은 용량 (Capacity)이 적을 때는 망각이 지속된다는 것을 발견했습니다. 포화 (Saturation) 상태에 가깝게 사전 학습된 (Pretrained) 모델은 이전 지식을 덮어쓰지 않고는 새로운 정보를 흡수할 수 없습니다. 용량이 제한 요인이 아닐 경우, 낮은 학습률 (Learning rates)은 망각을 줄여주지만 실질적으로 훨씬 더 많은 학습 단계 (Training steps)를 요구합니다. 재생 (Replay)은 이러한 트레이드오프 (Tradeoff)를 깨뜨려, 망각 없이 빠르고 높은 학습률의 미세 조정 (Finetuning)을 가능하게 합니다.