소프트맥스 및 교차 엔트로피의 개선 방안

요약

본 기사는 표준 softmax 및 교차 엔트로피 구현에 존재하는 수치적 버그(Softmax Collapse, Softmax Cancellation)를 분석하고 개선 방안을 제시합니다. 제안된 수정 구현은 '슬링샷' 현상을 제거하여 모델 학습의 안정성을 높이며, 가중치 감쇠 등을 통해 지식 증류 과정의 효율성과 정확도 붕괴 방지 능력을 향상시킵니다.

핵심 포인트

• 표준 softmax/CE의 수치적 버그(붕괴 및 상쇄)를 해결하는 구현을 제시함.
• '슬링샷' 현상을 제거하여 모델 학습 과정의 안정성을 확보함.
• 가중치 감쇠 등을 통해 그로킹 속도를 높이고 정확도 붕괴를 방지함.
• 지식 증류(Distillation) 시 학생 네트워크의 이탈을 효과적으로 제어함.