비트 단위 일치 준수 벡터를 포함한 84가지 형식의 수치 카탈로그: FP8, BF16, MXFP4 및 Microscaling 형식을 위한 벤더
요약
머신러닝 하드웨어의 다양한 수치 형식(FP8, BF16, MXFP4 등) 간의 일관성을 확보하기 위한 84가지 형식의 수치 카탈로그를 제안합니다. 비트 단위로 일치하는 참조 자료를 제공하여 가속기 간 모델 이식 시 발생하는 수치적 발산 문제를 해결하고자 합니다.
핵심 포인트
- 84가지 수치 형식에 대한 벤더 중립적 카탈로그 구축
- 비트 단위 일치(bit-exact) 준수 팩 및 IEEE P3109 매핑 제공
- SHA-256 핑거프린트와 앵커 벡터를 통한 데이터 무결성 검증
- ml_dtypes를 통한 교차 검증 및 오픈 라이선스 공개
머신러닝 (Machine Learning) 하드웨어에서 수치 형식의 급격한 확산 — FP8 (E4M3 및 E5M2), BF16, MXFP4, 마이크로스케일링 (microscaling) 블록 형식, 그리고 수십 가지의 연구용 변형들 — 은 벤더 중립적이고 비트 단위로 일치하는 (bit-exact) 참조 자료의 가용성을 앞질렀습니다. 가속기 간에 모델을 이식하는 엔지니어들은 공유된 척도 없이는 진단하기 어려운 조용한 발산 (silent divergences) 문제에 직면합니다. 본 논문은 13개 제품군에 걸친 84가지 수치 형식의 카탈로그, GF16, MXFP4 요소, BF16, FP8 E4M3, FP8 E5M2, 그리고 E8M0 블록 스케일을 다루는 6종의 비트 단위 일치 준수 팩 (bit-exact conformance packs) 세트, 그리고 각 팩을 그에 상응하는 표준 트랙 구성 형식에 매핑하는 IEEE P3109 v3.2.0 크로스워크 (cross-walk)를 설명합니다. 각 팩은 SHA-256 핑거프린트, 공유된 행 스키마 (row schema), 그리고 팩 간의 무결성 검사 (sanity check)를 위해 3.0 — 항등식 $\phi^2 + 1/\phi^2 = 3$ — 을 인코딩하는 앵커 벡터 (anchor vector)를 포함하는 독립적인 JSON 문서입니다. 팩들은 ml_dtypes 0.5.4 (Google/JAX)를 통해 교차 검증되었으며, 모든 발산 사항은 명시적으로 기록되어 숨겨지는 대신 사양에서 허용된 해석 차이 (spec-permitted interpretation gap)로 해석됩니다. 본 연구는 레지스트리 채우기 (registry filling)로 정의됩니다. 즉, 새로운 형식을 제안하거나, 모델 정확도에 대한 주장을 하거나, 특정 벤더의 구현보다 우월함을 주장하지 않습니다. 모든 결과물은 오픈 라이선스 하에 https://github.com/gHashTag/t27 에서 공개적으로 사용할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기