CertiSum: 플랫폼 및 병렬화 레이아웃 전반에 걸친 비트 단위 동일한 MXFP4 훈련
요약
MXFP4 훈련은 병렬화 레이아웃이나 GPU 벤더에 따라 결과가 달라지는 비결정적(non-deterministic) 문제를 안고 있습니다. CertiSum은 이 문제를 해결하여, 플랫폼 및 병렬화 방식 전반에 걸쳐 비트 단위로 불변한(bitwise invariant) MXFP4 훈련을 가능하게 합니다. 이는 양자화 과정의 통계를 수집하고 부분 합을 정확히 재계산함으로써 훈련 상태를 보존합니다.
핵심 포인트
- MXFP4 훈련은 병렬화 레이아웃 및 GPU에 따라 결과가 달라지는 비결정적 문제가 있습니다.
- CertiSum은 모든 환경에서 훈련 상태를 비트 단위로 불변하게 유지하는 것을 목표로 합니다.
- Qwen3-8B-Base 실험에서 AMD MI350X와 NVIDIA GB200 간에도 훈련 상태가 보존되었습니다.
- MI350X 테스트 결과, CertiSum은 결정론적 BF16 대비 최대 1.70배의 속도 향상을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기