본문으로 건너뛰기
arXiv논문2026. 11. 19. 02:07
CertiSum: 플랫폼 및 병렬화 레이아웃 전반에 걸친 비트 단위 동일한 MXFP4 훈련 대표 이미지

CertiSum: 플랫폼 및 병렬화 레이아웃 전반에 걸친 비트 단위 동일한 MXFP4 훈련

원문 발행 2026. 11. 17. 03:54원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

MXFP4 훈련은 병렬화 레이아웃이나 GPU 벤더에 따라 결과가 달라지는 비결정적(non-deterministic) 문제를 안고 있습니다. CertiSum은 이 문제를 해결하여, 플랫폼 및 병렬화 방식 전반에 걸쳐 비트 단위로 불변한(bitwise invariant) MXFP4 훈련을 가능하게 합니다. 이는 양자화 과정의 통계를 수집하고 부분 합을 정확히 재계산함으로써 훈련 상태를 보존합니다.

핵심 포인트

  • MXFP4 훈련은 병렬화 레이아웃 및 GPU에 따라 결과가 달라지는 비결정적 문제가 있습니다.
  • CertiSum은 모든 환경에서 훈련 상태를 비트 단위로 불변하게 유지하는 것을 목표로 합니다.
  • Qwen3-8B-Base 실험에서 AMD MI350X와 NVIDIA GB200 간에도 훈련 상태가 보존되었습니다.
  • MI350X 테스트 결과, CertiSum은 결정론적 BF16 대비 최대 1.70배의 속도 향상을 보여주었습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0