이 논문에서 저자들은 식별된 개념을 위험에 빠뜨리지 않고 안전하게 변경할 수 있는 파라미터(parameters)를 식별하고 나머지는 동결(freezing)함으로써, 파괴적 망각(catastrophic forgetting)의 위험 없이 지속적인 사전 학습(continued pretraining)을 다룹니다: https://arxiv.org/abs/2604.19089v1 현재의 관행은 파괴적 망각 없이 사전 학습을 용이하게 하기 위해 새로운 데이터셋을 포괄적인 데이터셋에 혼합하는 것이지만, 이는 (새로운 데이터뿐만 아니라 기존의 지식/기술을 강화하는 오래된 데이터로도 학습해야 하기 때문에) 10배 또는 그 이상의 더 높은 학습 비용을 초래합니다. 저자들의 방법은 기존 지식을 위험에 빠뜨리지 않고 모델이 새로운 데이터로만 학습될 수 있기 때문에, 포괄적인 데이터에 새로운 데이터를 혼합하는 것을 불필요하게 만들 수 있습니다. submitted by /u/ttkciar [link] [comments]