LLM 학습 불안정성의 선제적 탐지를 위한 메커니즘 기반 모니터링

요약

거대 언어 모델(LLM) 학습 중 발생하는 불안정성을 조기에 탐지하기 위한 메커니즘 기반 모니터링 기법을 제안합니다. 손실 값이 붕괴되기 전, 내부 모듈의 계산 지점에서 발생하는 미세한 신호를 포착하여 막대한 학습 비용 손실을 방지합니다.

핵심 포인트

• 학습 불안정성 발생 시 손실 값 변화 전 조기 탐지 가능
• Flash Attention의 QK 이선형 분해 스펙트럼 엔트로피 모니터링
• MoE 라우터의 전문가 선택 지표를 통한 결함 탐지
• 결함 주입 실험을 통해 손실 발산 수천 단계 전 트리거 확인