LLM FP4 사전 학습에서의 수축 편향(Shrinkage Bias) 재고: 기하학적 기원, 시스템적 영향 및 UFP4 레시피

요약

LLM FP4 사전 학습 시 발생하는 수축 편향(Shrinkage Bias)의 기하학적 원인을 분석하고, 이를 해결하기 위한 새로운 UFP4 학습 레시피를 제안합니다. 연구 결과, 균일 그리드 방식이 기존 E2M1 방식보다 학습 안정성과 양자화 품질 면에서 우수함을 입증했습니다.

핵심 포인트

• E2M1 형식의 비대칭성으로 인한 체계적 음의 반올림 오차(수축 편향) 식별
• 수축 편향이 레이어 전반에 걸쳐 곱셈적으로 누적됨을 증명
• RHT와 확률적 반올림을 결합한 새로운 UFP4 학습 레시피 제안
• Dense 및 MoE 모델 실험을 통해 BF16 대비 낮은 손실 저하 확인