손실 곡선이 놓치는 것: FP4 사전 학습은 희귀 사실 습득을 늦춘다

원문 발행 2026. 11. 10. 03:30원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 저정밀도 사전 학습(FP4)이 검증 손실만으로 평가될 경우 희귀 사실 습득 능력을 과소평가할 수 있음을 지적합니다. 합성 전기 데이터를 사용한 실험 결과, NVFP4는 BF16 대비 재현율을 맞추기 위해 더 많은 노출 비용이 필요했습니다. 따라서 모델의 성능 평가는 손실 외에 희귀 사실 습득 측정을 포함해야 합니다.

핵심 포인트

손실 일치(Loss matching)가 효율적인 희귀 사실 학습을 의미하지는 않습니다.
NVFP4는 BF16 대비 재현율 확보를 위해 더 많은 노출 비용이 필요합니다.
모델 성능 평가는 손실 외에 희귀 사실 습득 측정을 포함해야 합니다.
양자화 과정에서 발생하는 노이즈가 훈련 전체 비용의 상당 부분을 차지할 수 있습니다.

저정밀도 사전 학습(Low-precision pretraining)은 보통 검증 손실(validation loss)로 평가됩니다. 우리는 손실 일치가 희귀 사실을 효율적으로 학습한다는 것을 의미하는지 질문합니다. 우리는 통제된 노출 횟수를 가진 합성 전기(synthetic biographies)를 사용하여 트랜스포머 모델을 처음부터 학습시키고, 이를 웹 텍스트에 혼합하여 사용하며, 에뮬레이션된 4비트 행렬 곱셈을 수행합니다.

NVFP4는 검증 손실이 각각 0.5%와 2%로만 차이가 나지만, 그 재현율(recall)을 맞추기 위해서는 BF16보다 1.32$ imes$ 및 1.52$ imes$ 더 많은 노출이 필요하며, 두 모델 모두 BF16 행렬 곱셈으로 평가될 때는 각각 1.26$ imes$와 1.30$ imes$가 필요합니다.

우리의 주요 측정 지표(primary readout)에 따르면, 손실이 일치하는 경우 노출 비용은 약 1.2$ imes$입니다. 영평균(Zero-mean) 기울기 노이즈는 손실을 거의 움직이지 않는 역방향 전파(backward pass)만 양자화하는 비용을 재현합니다. NVFP4 오류의 두 배 수준에서 수행된 통제 실험에서, Adam의 2차 모멘트 추정치에만 공급되는 노이즈는 낮은 학습률처럼 작용하여 그 비용이 사라지는 반면, 업데이트 과정에 포함된 노이즈는 신호 대 잡음비(signal-to-noise ratio)를 낮추고 훈련 끝까지 전체 비용의 약 3분의 2를 가져갑니다. 더 작은 평균 스텝을 상쇄하기 위해 학습률을 높이는 것은 이 노이즈나 NVFP4 모두의 비용을 회복시키지 못합니다.

BF16 체크포인트의 기울기 통계는 적합성(fitting) 없이 형식, 부분 양자화 및 노이즈 제어의 비용을 순위 매겼습니다 (스피어만 상관 계수 0.96). 우리는 저정밀도 레시피를 평가할 때 손실과 함께 희귀 사실 습득을 측정할 것을 제안합니다.

AI 자동 생성 콘텐츠

원문 바로가기

손실 곡선이 놓치는 것: FP4 사전 학습은 희귀 사실 습득을 늦춘다

요약

핵심 포인트

댓글