MX-SAFE: 실시간 지수 및 가수 비트 할당을 통한 다목적 추론 및 학습용 마이크로스케일링 (Microscaling) 포맷

딥러닝에 대한 수요가 증가함에 따라, 양자화 (Quantization)를 통한 비용 절감은 학습 (Training)과 추론 (Inference) 모두에서 필수적이 되었습니다. 2022년, Open Compute Project (OCP) 컨소시엄은 마이크로스케일링 (Microscaling, MX) 포맷이라 불리는 딥러닝용 저정밀도 포맷을 표준화했습니다. MX 포맷은 여러 피연산자(Operands) 간에 8비트 지수 (Exponent)를 공유함으로써 데이터 크기를 효과적으로 줄이는 하드웨어 친화적인 동적 양자화 (Dynamic Quantization) 방식입니다. MX 포맷은 각기 다른 강점을 가진 두 가지 유형으로 분류할 수 있습니다: (i) 가수 (Mantissa) 비트로만 구성되어 높은 정밀도에 집중하는 MXINT, 그리고 (ii) 로컬 지수 (Local Exponent) 비트를 허용하여 더 넓은 동적 범위 (Dynamic Range)에 집중하는 MXFP입니다. 본 연구에서는 학습과 직접 캐스팅 추론 (Direct-cast Inference)을 모두 지원하기 위해, 두 가지 모드인 더 넓은 가수 모드 (FP8 E2M5)와 비정규수 (Subnormal) FP 모드 (FP5 E3M2)를 적응적으로 사용하는 MX-SAFE (약칭 MXSF)라고 불리는 다목적 MXFP 포맷을 제시합니다. 또한, MXSF 포맷을 사용한 학습 과정 중 재양자화 (Re-quantization) 프로세스의 부담을 줄여 하드웨어 효율성을 높이기 위한 타일 기반 블록 설계 (Tile-based block design)를 제안합니다. 제안된 MXSF 포맷을 사용한 결과, MXFP8 E2M5 및 MXFP8 E4M3와 비교했을 때 추론/전체 학습(Full-training)에서 각각 평균 0.05%/11.1% 및 3.55%/3.57%의 정확도 향상이 관찰되었습니다. 나아가, MXSF 포맷을 지원하는 학습-추론 가속기 (Training-inference accelerator)를 선보이며, 이는 BF16 베이스라인과 유사한 정확도를 달성하는 동시에 총 에너지 소비를 24.9% 절감합니다.