근접 제로 토큰 임베딩이 게이티드 시퀀스 모델의 학습을 은밀하게 방해하는 문제

조사된 291개의 오픈 웨이트 언어 모델 저장소(280개의 개별 임베딩 테이블) 중, 가중치 분리형(untied) 게이티드 및 하이브리드 체크포인트의 52.6%(38개 중 20개)가 $10^{-6}$ 미만의 노름을 가진 도달 가능한 입력 임베딩을 포함하고 있으며, 이는 가중치 공유형(weight-tied) 모델의 0%와 비교됩니다. 이러한 근접 제로 행은 사전 학습 과정에서 보지 못한 희귀하거나 템플릿 토큰이 입력 그래디언트를 받지 못하는 동시에 AdamW 가중치 감쇠가 분리된 임베딩을 축소할 때 발생할 수 있습니다. 테스트된 Transformer 구성에서는 초기 위치나 BOS(Beginning Of Sequence) 토큰이 이러한 실패 모드를 방지합니다. 게이티드 시퀀스 모델(Mamba, Gated DeltaNet, xLSTM)의 경우, 근접 제로 토큰은 입력 임베딩 그래디언트를 30배 이상 증폭시킬 수 있습니다(최대 35배). 입력이 0일 때, 현재 토큰 판독 계수(SiLU 게이트 또는 선형 쿼리)는 소멸하여 과거 상태의 판독을 억제합니다. 그 결과 잔여 RMS 값은 연속적인 레이어에 걸쳐 RMSNorm 바닥값의 제곱근 이하로 떨어질 수 있으며, 이는 Pre-RMSNorm이 역방향 그래디언트를 레이어당 최대 $10^3$만큼 증폭시키게 만듭니다. 그래디언트 항목이 $1.84 imes 10^{19}$를 초과하면 PyTorch의 FP32 글로벌 노름 클리핑, Hugging Face Trainer, FSDP2에서 무한대로 오버플로우되어 현재 배치(batch)의 그래디언트를 0으로 만듭니다. Nemotron-3-Nano-4B 모델의 Telugu 지속적 사전 학습 과정에서 이는 약 20%의 스텝에 대한 업데이트를 폐기하고 트리거된 행을 동결 상태로 남깁니다. 우리는 두 가지 해결책을 제안합니다. 출시된 체크포인트의 경우, GroupClip은 64비트 또는 재조정된 노름(rescaled norm)을 사용하여 입력 임베딩 클리핑을 분리하며, 그 재조정 구현 방식은 업데이트 손실을 제거하고 측정된 종단 간 오버헤드가 미미한 상태에서 한 단계로 트리거된 행을 치유합니다. 사전 학습의 경우, GateFloor ($ ext{SiLU}(z) + ext{δ}$, $ ext{δ} ext{∈} [0.01, 0.1]$)는 게이트를 0 입력에서도 양수로 유지하여 실험에서 최대 370M 파라미터까지 근접 제로 그래디언트를 28배 감소시키며, 그 성능은 기준선(baseline)과 비교할 만한 perplexity를 보입니다.