귀를 먹먹하게 하는 침묵: 데이터가 말하지 않은 토큰의 출력 임베딩에 남아있는 치명적 망각

대규모 언어 모델(LLMs)에서의 지속적인 사전 학습 및 미세 조정은 필연적으로 치명적 망각을 유발하며, 이는 일반적으로 접근하기 어려운 원래 데이터를 사용한 리플레이를 통해 완화됩니다. 이 데이터가 없는 환경에서, 우리는 망각이 발생하는 위치와 이유를 분석합니다. 최대 1.4B에 이르는 다섯 가지 설정 전반에 걸친 체계적인 파라미터 동결은 새로운 코퍼스에서 보기 드문 토큰의 출력 임베딩에 망각이 선택적으로 집중되며, 반면 본문의 동일한 $ ext{sqrt}( ext{v-hat})$ 대역은 비활성 상태이고 새로운 학습은 다른 곳에 존재한다는 것을 밝혀냅니다. 이러한 국소화는 훈련 모드보다는 코퍼스의 어휘 부족(vocabulary deficiency)에 의해 지배되며, 고정된 기본 모델 내에서 토큰 카운트만으로 사전 재학습 위험 순위를 매길 수 있게 합니다. 기계적으로 볼 때, 부재하는 토큰들은 지속적인 일방향 소프트맥스 기울기(one-sided softmax gradients)를 받으며, 이는 Adam의 두 번째 모멘트($ ext{sqrt}( ext{v-hat})$) 정규화에 의해 전체 크기의 업데이트로 증폭됩니다. 따라서 우리는 개입을 제안합니다: 훈련 중 출력 투영(output projection)에 대해서만 Adam의 $ ext{epsilon}$ 값을 높이는 것입니다. 160M에서 12B 파라미터까지 걸쳐 8가지 설정과 4개 모델 패밀리 전반에 걸쳐, 이는 모든 일곱 가지 안정적인 구성에서 망각의 39.4%에서 67.9%를 제거하며 목표 학습을 저하시키거나 모델별 조정이 필요하지 않습니다. 이 방어 기법은 리플레이(Qwen/한국어에서 79.8%)와 결합하여 가산적으로 작용하거나 더 나은 성능을 보이며, 해제된 헤드 LoRA가 23배의 망각 급증으로부터 회복되도록 합니다. 사후 편집(post-hoc editing)으로 표류한 행들을 수정하는 것이 5% 미만의 망각만 복구하기 때문에, 이 개입은 훈련 중에 작동해야 합니다. 우리의 발견은 단일 라인의 최적화기 조정이 코퍼스가 어휘를 기아 상태로 만드는 경우 치명적 망각에 대한 주요 방어 역할을 할 수 있음을 시사합니다.