LLM 학습 불안정성의 선제적 탐지를 위한 메커니즘 기반 모니터링

프런티어 거대 언어 모델 (Frontier LLM) 학습은 방대한 가속기 플릿 (accelerator fleets)과 긴 실제 계산 시간 (wall-clock computation)을 소비하므로, 안정성 실패가 발생할 경우 그 비용이 매우 막대합니다. 수치적 오류나 하이퍼파라미터 (hyperparameter) 결함으로 인해 학습 역학 (training dynamics)이 이미 불안정해진 후에도, 손실 (loss) 및 그래디언트 노름 (gradient norms)이 여전히 정상적으로 보이는 동안 수천 단계 (steps) 동안 문제가 지속될 수 있습니다. 우리는 각 핵심 모듈의 기능적 역할과 실패가 측정 가능한 시그니처 (signatures)를 생성할 것으로 예상되는 가장 초기 계산 지점으로부터 내부 모니터 (internal monitors)를 도출함으로써, 학습 불안정성의 메커니즘 기반 탐지를 연구합니다. 저정밀도 플래시 어텐션 (low-precision flash attention)의 경우, 손실이 완전히 붕괴되기 전에 1차 항이 비정상적으로 변하는 QK 이선형 분해 (QK bilinear decomposition)의 스펙트럼 엔트로피 (spectral entropy)를 모니터링합니다. MoE 라우터 (MoE routers)의 경우, 전문가 선택 (expert selection)에서의 역할을 통해 지표를 도출합니다. 저정밀도 어텐션, 높은 학습률 (large learning-rate), 그리고 결합된 결함에 대한 우리의 결함 주입 (fault-injection) 실험은 이러한 신호들이 서로 다른 실패에 대해 뚜렷한 시그니처를 제공하며, 손실 발산 (loss divergence)이 일어나기 수천 단계 전에 트리거됨을 보여줍니다.