Top-1이 실패할 때: Masked Diffusion LM을 위한 LoRA 모니터 보정

이산 확산 언어 모델 (Discrete diffusion language model, DLM) 미세 조정 (fine-tuning)은 노이즈 제거 시간 신뢰도 모니터 (denoising-time confidence monitors)로부터 저비용의 진단 도구를 물려받았으나, 이들의 PEFT (Parameter-Efficient Fine-Tuning) 학습 측면에서의 의미는 검증되지 않았습니다. 우리는 붕괴 (collapse) 경고로서 top-1 argmax 집중도 (concentration)를 테스트합니다. 세 가지 DLM 제품군에서 추출한 816개의 LoRA/PEFT 구성에 대해 테스트한 결과, 모든 구성에서 경고가 발생했으나 로그상으로는 200 스텝 지평선(horizon) 내에서 실제 붕괴가 0/816건으로 기록되어 정밀도 (precision)가 0이었습니다. 그 원인은 사전 평형 포화 (pre-equilibrium saturation)입니다. 즉, top-1 집중도는 최적화(optimization) 전에도 이미 높으며, 최종 학습 안정성에 대해 빠르게 무감각해집니다. 이에 따라 우리는 토큰 집중도 대신 그래디언트 라우팅 (gradient routing)을 샘플링하는 파라미터 측면의 신호인 max LoRA 그래디언트 노름 (max LoRA gradient norm)을 평가합니다. 풀링된 홀드아웃 (held-out) LLaDA 제품군 분할 데이터셋에서, 학습 최적화된 임계값 (threshold)은 상위 10%의 최종 손실 (final-loss) 구성을 0.68의 정밀도와 0.79의 F1 점수로 식별해냈으며, 이는 낮은 분할 부트스트랩 신뢰 구간에서도 모든 양성(all-positive)을 출력하는 top-1 베이스라인보다 높았습니다. 자기회귀 제어 (Autoregressive controls) 및 제품군 간 임계값 실패로 인해, 이 결과는 보편적인 붕괴 탐지기라기보다는 단기 지평의 DLM-LoRA 검사에 국한됩니다. 워크플로우: PEFT 알람으로서 top-1을 폐기하고, 학습 초기 단계에 max-gradient를 기록하며, 검사를 위한 실행을 라우팅하기 전에 DLM 제품군별로 임계값을 보정하십시오.