【논문 해설】 MXFP4를 통한 양자화 잠재력의 규명: 양자화 오차 감소 전략

원문 발행 2026. 08. 01. 10:52원문 언어 일본어AI 한국어 번역Qiita AI 원문 보기

요약

Meta 연구진이 제안한 MXFP4 양자화 정밀도 향상 기법에 관한 논문입니다. OAS와 MBS라는 두 가지 소프트웨어적 전략을 통해 하드웨어 변경 없이도 MXFP4의 정밀도를 NVIDIA NVFP4 수준으로 끌어올리는 방법을 다룹니다.

핵심 포인트

OAS와 MBS 기법을 통해 MXFP4와 NVFP4 간 정밀도 격차를 1% 이하로 단축
하드웨어 추가 면적이나 에너지 오버헤드 없이 소프트웨어적으로 정밀도 문제 해결
MXFP4뿐만 아니라 MXFP8, MXFP6 등 다른 MX 포맷에도 적용 가능한 범용성 확보
GEMM 오버헤드를 평균 6.2% 수준으로 유지하며 효율적인 추론 가능

이 논문의 개요
실수 양자화 (Real-value Quantization)의 현주소 (Sec.1, Sec.6로부터)
배경 기술 (Sec.2로부터)
NVMP4 vs MXFP4 (Sec.3로부터)
제안 기법 (Sec.4로부터)
성능 평가 (Sec.5, Appendix로부터)
결론 (Sec.7로부터)
Meta의 연구원에 의해 게시된 실수 양자화 (FP4)에 관한 논문
LLM의 대두로 대규모 모델에서 효율적인 추론을 가능하게 하는 저정밀도 포맷에 대한 수요가 증가
OCP MX 표준
- 하드웨어 효율성이 뛰어남 - 단, 4bit 형식 (MXFP4)은 정밀도 관점에서 NVIDIA NVFP4에 뒤처져 적용되는 장면이 한정됨
이 논문은 상기 문제점에 대해 소프트웨어적으로 해결을 도모하는 기법 두 가지를 제안함
Overflow-Aware Scaling (OAS)
- 2블록 스케일링의 유효 다이내믹 레인지 (Dynamic Range)를 크게 함으로써 전체적인 오차를 저감
Macro Block Scaling (MBS)
- 이상치 (Outlier)를 더 잘 보존하기 위해, 더 거친 입도 (Granularity)로 높은 정밀도의 스케일링을 할당
Overflow-Aware Scaling (OAS)
제안 기법의 효과로서 다음을 꼽을 수 있음
- 여러 LLM에 표준적인 다운스트림 벤치마크를 이용한 검증을 실행한 결과, 제안 기법을 적용한 MXFP4와 NVMP4의 엔드 투 엔드 (End-to-End) 정밀도 격차를 평균 약 10%에서 1% 이하로 저감
- GEMM 오버헤드는 평균 6.2%를 달성
상기 효과로부터 알 수 있는 점
MXFP4가 NVFP4를 대체할 수 있는 실용적인 기법이 될 수 있음
MX 시리즈의 하드웨어 효율성 이점을 유지하면서 NVFP4에 가까운 정밀도를 실현
양자화 기술 발전의 배경
LLM의 등장으로 인공지능 상황은 급격히 변화하며, 다양한 애플리케이션에서 브레이크스루 (Breakthrough)를 견인
더 높은 퍼포먼스에 대한 요구가 높아졌으며, 모델 사이즈는 전례 없는 규모로 확장됨
양자화는 비트 수를 줄임으로써 이러한 과제를 해결하는 동시에, LLM의 효율적인 전개를 가능하게 함
FP4 양자화 포맷의 등장 (2023년)
다양한 포맷이 제안되는 가운데, OCP가 제안한 MX가 여러 기업에 의해 채택되어 지지를 얻으며 표준화되어 가고 있음
MX에는 8bit, 6bit, 4bit 등 여러 비트 사이즈의 포맷이 존재
MX는 8bit, 6bit에서는 데모에 성공했으나, 4bit (MXFP4)는 모델 품질 유지에 과제가 존재
4bit의 대항마 NVFP4 등장 (2025년)
NVIDIA가 MXFP4보다 높은 표현 충실도 (Fidelity)를 가진 NVFP4를 제안
몇몇 연구에서 NVFP4가 모델의 품질을 더 잘 유지한다는 것이 보여짐
이 결과로 인해, 모델의 정밀도 요구가 높은 시나리오에서 MXFP4 채택의 큰 장벽이 되고 있음
NVIDIA가 MXFP4보다 높은 표현 충실도를 가진 NVFP4를 제안
NVFP4는 그 정밀도 유지 성능의 반면 다음과 같은 문제가 발생
- 하드웨어 설계에 여분의 면적이 필요 (전용 칩 탑재에 의한 것)
- 에너지 오버헤드가 발생
이를 받아 이 논문에서는 다음을 실시
MXFP4와 NVFP4의 표현 충실도와 하드웨어 비용 관점에서의 상세한 비교
비교 결과로부터 MXFP4의 한계를 넓히고, 또한 하드웨어 변경은 필요 없이 정밀도를 향상시키는 전략을 제안
제안 기법은 MXFP8이나 MXFP6 등 다른 MX 포맷에도 적용 가능한 기법
이 논문의 주요 성과
MXFP4와 NVFP4의 정밀도 차이가 발생하는 요인인 블록 입도 (Block Granularity)와 제곱 스케일링 정밀도를 특정하고, 그 표현 충실도와 하드웨어 면적의 트레이드오프 (Trade-off)를 정량화
하드웨어 변경은 필요 없이 MXFP4의 표현 충실도를 향상시키며, MXFP4 호환 디바이스에 적용 가능한 두 가지 소프트웨어 기술 OAS와 MBS를 제안
제안 기법을 구현한 MXFP4가 GEMM 오버헤드를 평균 6.2%로 억제하고, NVFP4에 가까운 표현 충실도 (QSNR 1dB 미만)와 다운스트림 정밀도 (평균 1% 이내)를 달성
관련 연구
선행 연구에서는 블록 기반의 저정밀도 포맷 개선을 탐구
BDR은 짧은 마이크로 지수 (Micro-exponent)를 도입하여 MX 스타일의 포맷을 제안
몇몇 방법에서는 인접한 대상값으로부터 정밀도를 재할당함
이종 비트 폭의 인터커넥트 지원을 추가하는 등 이상치를 특별하게 다룸
이러한 연구 성과를 적용하기 위해서는 GPU에 대한 하드웨어 변경을 필요로 함
일반적인 GPU에 대한 전개가 제한됨
MX+는 가장 가까운 선행 연구로, MXFP4 상에 블록 최대값의 가수 비트(mantissa bit)를 추가하여 저장하고 온더플라이(on-the-fly) 변환을 통해 GPU 상에서 실행하지만, 다음과 같은 문제가 발생
추가적인 희소 GEMM (Sparse GEMM)을 도입하기 때문에 최대 54%의 오버헤드가 발생
정밀도는 캘리브레이션(Calibration)과 PTQ를 통해 더욱 향상 가능
GPTQ 스타일의 PTQ는 베이스 모델과의 격차를 줄임
제안하는 방법론은 PTQ와 QAT의 혜택을 받을 가능성이 있으나, 이는 향후 연구에 맡김
Transformer 아키텍처
Llama3, Llama 4, Qwen, Deepseek, GPT-OSS 등의 최신 LLM은 Transformer 아키텍처를 기반으로 구축됨
그림 1은 이러한 LLM에서 사용되는 디코더 부분의 아키텍처
이러한 모델에서 지배적인 계산은 다음과 같음
QKV 투영 (Projection)
출력 투영 (Output Projection)
FFN의 선형층 (Linear Layer)
이 논문은 가중치(Weight)와 활성화(Activation)의 양자화를 통해 상기 연산의 효율을 향상시키는 것에 초점을 맞춤
Llama3, Llama 4, Qwen, Deepseek, GPT-OSS 등의 최신 LLM은 Transformer 아키텍처를 기반으로 구축됨
FP4를 통한 양자화
양자화를 통해 가중치와 활성화의 정밀도를 낮추어 추론 효율을 향상시킴
일반적인 방법으로서 입도(Granularity, 텐서별, 채널별, 그룹별)와 스케일링 전략(대칭 또는 비대칭)이 서로 다른 다양한 전략을 채택
QAT나 PTQ를 채택함으로써 비트 수를 줄이면서도 모델 성능의 최적화가 가능
MXFP4나 NVFP4와 같은 최근의 저비트 포맷은 모델 정밀도 유지와 비트 수 감소 사이의 트레이드오프(Trade-off)를 적극적으로 추구
주요 FP4 포맷
NVFP4: NVIDIA가 개발한 포맷이며, NVIDIA GPU와의 호환성 덕분에 널리 채택됨
MXFP4: OCP에 의해 표준화된 포맷이며, 하드웨어 효율이 좋음
각 포맷의 특징
MXFP4: E2M1의 4bit 데이터 요소와 32개 요소마다 적용되는 공유 E8M0 블록 스케일(Block Scale)의 두 가지 컴포넌트로 구성됨. 리소스를 대폭 절감함으로써 에너지 효율이 높은 배포가 가능
NVFP4: E2M1의 4bit 데이터 요소, 16개 요소마다 적용되는 공유 E4M3 FP8 블록 스케일, 범위 제한을 완화하기 위한 텐서별 스케일링 필터의 세 가지 컴포넌트로 구성됨. 높은 표현 충실도(Fidelity)를 실현
주요 FP4 포맷

image.png

(참고) TF32 (sign 1bit, exponent 8bit, mantissa 10bit)

하드웨어 대응
LLM 내의 연산은 일반 행렬 연산(GEMM) 연산이 중심임
그림 3의 텐서 코어(Tensor Core)는 MXFP4, NVFP4에 대응하는 전형적인 아키텍처
A와 B의 메모리는 입력 오퍼랜드(Operand) 행렬을 저장
C의 메모리는 부분합(Partial Sum) 또는 최종 출력을 저장
성능, 소비 전력, 면적의 제약에 따라 인스턴스화된 여러 개의 도트 곱 유닛(DPU, Dot Product Unit)은 대상이 되는 GEMM 연산을 위해 하드웨어 타일 크기를 지정하여 실행
분석 방법
이 논문에서 표현 충실도를 평가하는 방법으로는 dB 단위로 측정되는 양자화 신호 대 잡음비(QSNR)를 사용함
QSNR은 엔드투엔드(End-to-End) 추론 메트릭과 강한 상관관계를 보임
다른 선행 연구에서도 포맷 선택의 일시적 분석을 위해 사용되고 있으므로 채택함
개별 입력 텐서와 연산 후의 결과(MatMul 출력 등)라는 두 가지 입도에서 QSNR을 계산
양자화된 텐서와 양자화 전의 텐서 사이의 MSE를 정규화할 수 있음
QSNR이 높을수록 충실도가 높음 (즉, 정밀도가 높음)
$A^{BF16}$을 원래의 고정밀도 텐서, $A^{Q}$를 양자화된 텐서라고 하면, QSNR은 다음과 같이 (1), (2)식과 같이 양자화 노이즈에 대한 기준 신호 파워의 로그 비로 정의할 수 있음

\begin{align}
\QSNR(A^{BF16}, A^{Q}) = 10 \log_{10} \Bigg( \frac{||A^{BF16}||_{F}^{2}}{||A^{BF16}-A^{Q}||_{F}^{2}} \Bigg) (1) \\
\QSNR(AB) = 10 \log_{10} \Bigg( \frac{||A^{BF16}B^{BF16}||_{F}^{2}}{||A^{BF16}B^{BF16} - A^{Q}B^{Q}||_{F}^{2}} \Bigg) (2)
...
\end{align}

이 논문에서는 Llama 3.1-8B-Instruct와 Qwen3-8B 두 종류에 대해 QSNR 분석을 실시함
측정에는 추론 시 덤프(dump)한 텐서를 사용하며, 1000개의 텐서를 랜덤 샘플링하여 그 평균값을 사용하여 QSNR 측정을 실시함

세밀한 블록 양자화 (Block Quantization)의 의의와 영향

FP4의 지수 폭(Exponent width)은 제한적(E=2)이기 때문에, 표현 가능한 다이내믹 레인지(Dynamic range)는 12x(=6.0/0.5)로 매우 작은 비율이 됨
결과적으로 변동성이 큰 블록은 필연적으로 더 작은 크기(magnitude) 값에 대해 flush로부터 0으로 양자화되는 값의 비율이 증가함
활성화 텐서(Activation tensor)의 경우, 블록 사이즈를 32에서 16으로 줄이면 flush 대 0의 값이 $20%$에서 $13%$로 감소함 (즉, $35%$ 감소)
회전 행렬(Rotation matrix)을 사용하는 기법은 블록의 다이내믹 레인지를 축소하는 데 도움이 됨
결과적으로 블록 사이즈를 줄이면 QSNR은 1dB 정도 증가함

MXFP4의 8bit 지수 확장 범위는 대부분이 중복됨

거의 모든 가중치(Weight) 텐서, $98%$ 이상의 활성화 텐서에 대해 스케일링 팩터(Scaling factor)의 다이내믹 레인지를 포착하는 데 지수부는 4bit로 충분히 대응 가능함
결과적으로 남은 4bit의 지수 비트가 이용되지 않은 채 남게 됨
제안하는 방법에서는 지수를 버림(truncation)으로써 이에 대응함
거의 모든 가중치 텐서, $98%$ 이상의 활성화 텐서에 대해 스케일링 팩터의 다이내믹 레인지를 포착하는 데 지수부는 4bit로 충분히 대응 가능함

중요한 것은 가수 비트(Mantissa bit)

계통적인 텐서 이상치(Outlier)가 양자화 임계값을 지배한다고 생각하면, 가수부의 정확한 분해능이 정밀도 유지에 있어 가장 중요함
MXFP4(E8M0)는 가수부가 없으며, 스케일링 팩터를 2의 거듭제곱으로 엄격하게 제약함
결과적으로 이상치의 정확한 표현을 방해함
4.0~6.0 사이의 값은 $20%$ 정도의 표현 에러를 일으킬 가능성이 있음
NVFP4는 E4M3 형식이므로 3bit의 가수 비트를 가져 이상치의 근사도 더 정밀하게 근사함
주어진 8bit 비트 수 내에서 크기(magnitude)가 큰 값에 대해 오차를 효과적으로 최소화함
결과적으로 QSNR을 대폭 향상시킬 수 있음
주어진 8bit 비트 수 내에서 크기(magnitude)가 큰 값에 대해 오차를 효과적으로 최소화함

블록 사이즈와 스케일링 팩터 형식이 하드웨어 비용에 미치는 영향

하드웨어 비용을 이해하기 위해 다음 방법을 채택함
멀티 포맷 텐서 코어(Multi-format Tensor Core)로부터 주요 컴포넌트(요소별 matmul, 가산 트리(Addition tree), 시프트 연산부 등)의 베이스라인 면적을 추출하여 TSMC 공정 노드에 매핑함
상기 수치를 사용하여 NVFP4와 MXFP4의 트레이드오프(Trade-off)로서 다음 두 가지를 구축함
- 스케일 팩터 블록 사이즈 (32 대 16)
- 스케일 팩터 포맷 (E8M0 대 E4M3)의 영향을 비교하는 분석 영역 모델
공정한 비교를 위해 텐서 코어 설계 간에 동일한 하드웨어 타일 사이즈를 가정함
텐서 코어 면적은 그림 3과 같이 메모리와 연산 로직의 주요 구성 양상에 기인함
블록 사이즈의 오버헤드
32 대신 16의 스케일 팩터 블록 사이즈를 사용했을 때의 면적 영향을 측정함
E8M0 스케일 팩터를 가정함
저자들의 면적 모델에 따르면 블록 사이즈 16은 블록 사이즈 32에 비해 텐서 코어 면적을 $2%$ 증가시킴
A/B 메모리에 필요한 SRAM 사이즈가 약간 커지는 것과 블록 간 가산기(Adder)의 폭이 증가하는 것에 기인함
블록 사이즈 32에서는 요소당 4.25bit
블록 사이즈 16에서는 요소당 4.5bit
A/B 메모리에 필요한 SRAM 사이즈가 약간 커지는 것과 블록 간 가산기의 폭이 증가하는 것에 기인함
블록 사이즈를 16으로 고정하고, E8M0가 아닌 E4M3 스케일 팩터 형식으로 면적 오버헤드를 정량화함
32 대신 16의 스케일 팩터 블록 사이즈를 사용했을 때의 면적 영향을 측정함
하드웨어 비용을 이해하기 위해 다음 방법을 채택함

연산 로직(그림 4의 DPU) 관점의 경우

DPE(Dot Product Engine) 간의 블록 간 정렬(Alignment) 로직에 주요한 차이가 발생함
각 블록의 유효 스케일을 해결함
최대 지수($E_{max}$)를 계산함
블록 간의 부분합(Partial sum)을 가산함
$E_{max}$에 관하여 블록 레벨의 가수부를 정렬(Alignment)함
위 사항에 더해 몇 가지 검증을 수행한 결과, 블록 간 정렬(Alignment)은 E8M0보다 E4M3의 비용이 훨씬 더 높게 나타났다. 저자들의 에리어 모델(Area model)에 따르면, 스케일 팩터 포맷(Scale factor format)으로 E4M3를 사용할 경우 동일한 블록 크기에서 E8M0 대비 $21.3%$의 계산 로직 에리어 오버헤드(Logic area overhead)와 $12.6%$의 총 텐서 코어 에리어 오버헤드(Total Tensor Core area overhead)가 발생한다.

검증 결과

NVFP4와 MXFP4 간의 입도(Granularity) 차이에 충실도(Fidelity) 격차가 존재한다고 가정
블록 크기 변경과 스케일링 팩터 변경 모두 충실도를 향상시킴
단, 현저한 트레이드오프(Trade-off)로서 스케일 팩터의 해상도를 높이면 하드웨어 비용이 증가하고, 블록 크기를 작게 하면 하드웨어 비용이 감소함을 밝혀냄
따라서 E8M0 형식을 유지하면서, 공간적 국부성(Spatial locality)을 활용하기 위해 더 세밀한 블록 크기를 국부적으로 이용
하드웨어 비용과 관련되지 않으면서 세밀한 스케일 팩터 포맷의 정밀도를 유지하는 것을 목적으로 제안하는 두 가지 수법을 채택
결과적으로 MX 포맷의 면적 효율성을 유지하면서 NVFP4에 필적하는 정밀도를 달성

양자화 블록의 입도(Granularity)

FP4와 같은 저정밀도 포맷에서는 블록 크기의 축소가 필수적임
NVIDIA의 GPU에서는 MXFP4의 경우 블록 크기가 32로 제한되며, NVFP4라면 더 세밀한 블록 크기를 지원함

NVFP4 파이프라인을 이용함으로써, 블록의 스케일링 팩터를 2의 거듭제곱으로 명시적으로 제약(수치 해석을 용이하게 하기 위해) - E4M3 포맷은 두 개의 E4M0 포맷으로 동작하여 거듭제곱을 표현 가능

이 접근 방식을 통해 하드웨어를 변경하지 않고도 블록 크기 16에서 MX 스타일의 스케일링을 실행할 수 있음
이 조정을 통해 1dB의 QSNR 향상을 실현
스케일링 팩터의 대부분은 텐서의 최댓값 범위 내에 존재함
값의 버림(Truncation)을 무시할 수 있을 정도로 유효 다이내믹 레인지(Effective dynamic range)를 캡슐화할 수 있음
FP4와 같은 저정밀도 포맷에서는 블록 크기의 축소가 필수적임

Overflow-Aware Scaling (OAS)

기존 MXFP4에서는 각 1×16 블록의 최대 절대값 $\alpha_{max}$가 FP4의 최대 표현값인 6.0에 대응하도록 스케일 계수를 계산함

이를 통해 최댓값의 오버플로우(Overflow)는 방지할 수 있지만, 작은 값의 표현 범위가 좁아져 많은 값이 0으로 반올림됨 (flush-to-zero)

저자들은 블록 내 최댓값이 특정 범위에 존재하는 경우 약간의 오버플로우를 허용하고, 더 큰 스케일 계수를 적용할 것을 제안함

최댓값의 양자화 오차는 약간 증가하지만, 작은 값의 표현 정밀도가 향상되기 때문에 블록 전체로서의 양자화 오차를 감소시킴

검증 결과에서는 OAS를 통해 QSNR이 약 0.5dB 개선됨

즉, FP4의 최댓값을 엄격하게 지키는 것보다 블록 전체의 오차 감소를 우선하는 수법이며, 일부 오버플로우를 허용하여 저값 측의 표현 능력을 향상시킴

Macro Block Scaling (MBS)

MXFP4에서는 스케일 계수가 E8M0 형식이며, 2의 거듭제곱만을 표현할 수 있음. 따라서 최적의 스케일 계수를 정확하게 표현할 수 없어 양자화 오차가 발생함
반면 NVFP4의 E4M3 스케일은 정밀도가 높지만 하드웨어 비용이 증가함
저자들은 1×128의 더 큰 단위(Macro Block)로 추가 스케일 계수를 도입할 것을 제안함
이 보조 스케일을 통해 각 1×16 블록으로 입력되는 값의 분포를 사전에 조정할 수 있음
결과적으로 E8M0 스케일을 유지하면서 E4M3에 가까운 스케일 정밀도를 실현
E8M0의 거친 스케일 정밀도를 보완하기 위한 보조 스케일로 이용
하드웨어 효율이 낮은 E4M3를 직접 도입하지 않고 NVFP4에 가까운 정밀도를 목표로 하는 수법
정밀도 향상과 하드웨어 비용 사이의 균형을 노리고 있음

제안 수법의 요점

FP4는 허용되는 값의 범위가 좁기 때문에 제안 수법을 도입함으로써 정보 손실 완화를 실현
OAS: FP4의 좁은 다이내믹 레인지로 인한 저값 측의 정보 손실을 완화
MBS: E8M0 스케일의 거친 특성으로 인한 양자화 오차를 완화
FP4는 허용되는 값의 범위가 좁기 때문에 제안 수법을 도입함으로써 정보 손실 완화를 실현
QSNR 분석
양자화 기법을 활성화 (Activation), 가중치 (Weight), 출력 (Output)에 각각 적용했을 때의 결과로 QSNR을 산출하여 비교
여기서 MBS-S (간이 버전), MBS-D (고정밀 버전), MBS-H (하이브리드 버전)라고 정의함
MXFP4에 제안 수법을 구현함으로써 QSNR이 개선되고, NVFP4에 근접한 성능을 실현할 수 있는지 검증

image.png

그림 6: 활성화 (Activation), 가중치 (Weight), 출력 (Output)에 관한 포맷을 변경하여 수행한 QSNR 분석

평가 방법
vLLM을 추론 엔진 (Inference Engine)으로 사용
평가 프레임워크로서 Language Model Evaluation Harness를 이용
평가 모델은 다음 4종류
- Llama 3.1-8B-Instruct
- Qwen3-8B
- Llama 4-Maverick
- Deep SeekR1
모든 선형층 (QKVO, FFN, MoE에서의 각 전문가/Expert)을 양자화
가중치 (Weight)와 활성화 (Activation) 모두에 적용
캘리브레이션 (Calibration) 데이터는 사용하지 않으며, 재학습 (Re-training) 등도 수행하지 않음

표 1: Llama 3.1-8B-Instruct에서의 다운스트림 (Downstream) 평가 결과

image.png

표 3: DeepSeek-R1에서의 다운스트림 (Downstream) 평가 결과

image.png

표 4: GEMM 커널 (Kernel)의 오버헤드 (Overhead) 평가 결과 (단위: TFLOPS)

image.png

표 5: Llama 4-Maverick에서의 다운스트림 (Downstream) 평가 결과

image.png

저자들은 MX 포맷을 분석하여 NVFP4와의 정밀도 차이의 근저에 있는 중요 요인을 특정함
특정된 중요 요인으로부터 MXFP4를 강화하는 OAS와 MBS를 제안
결과적으로 정밀도 저하를 평균 $62%$ 감소시켰으며, NVFP4와의 격차를 평균 $10%$에서 $1%$로 감소시키는 것을 실현
MXFP4가 NVFP4와 동등한 성능을 발휘하며, LLM 추론에 있어 더욱 효율적이고 정확한 양자화를 가능하게 함을 보여줌
하드웨어 (특히 GPU)의 저수준 (Low-level) 부분을 다루는 라이브러리 지식 등이 없으면 중간 계산 과정을 따라가기 힘든 내용이었다는 것이 솔직한 의견
MX 포맷이 NV 포맷에 대해 우월한 점 (말하자면 셀링 포인트였던 부분)은 그 개방성(Openness)이었을 것이다. 그런데 이번 수법은 MXFP4에 NVIDIA GPU가 탑재하고 있는 칩을 이용할 수 있도록 구현을 추가하여, 말하자면 NVFP4에 소프트웨어적으로 맞춘 결과 성능이 가까워졌다는 결론이라, 어렵게 얻은 개방성을 죽여버린 것처럼 느껴진다. AMD나 Intel GPU에서도 실현 가능한 수법이라면 보는 관점이 달라졌을 것이라 생각하기에 아쉽다.
제목이 다소 과장된 표현이라 무척 재미있는 논문일 것이라 생각하고 집어 들었는데, 조금 실망했다. 시도하려는 컨셉은 꽤 흥미롭다고 생각한다. 이것이 NVIDIA 아키텍처에 의존하지 않는 수법이라면 더 깊게 검증해 보는 것도 재미있을 것 같다. 향후의 진전을 기대하고 싶다.
실수 양자화 (Real-number Quantization)는 실질적으로 MX 포맷과 NV 포맷 두 종류이다. 이는 실수 연산이 하드웨어적으로 대응하는 포맷이 아니라면 현실 시간 내에서의 실행이 어렵다는 점이 가장 큰 걸림돌이라는 것을 본 논문을 읽고 다시금 실감했다.

AI 자동 생성 콘텐츠

원문 바로가기

\begin{align} \QSNR(A^{BF16}, A^{Q}) = 10 \log_{10} \Bigg( \frac{||A^{BF16}||_{F}^{2}}{||A^{BF16}-A^{Q}||_{F}^{2}} \Bigg) (1) \\ \QSNR(AB) = 10 \log_{10} \Bigg( \frac{||A^{BF16}B^{BF16}||_{F}^{2}}{||A^{BF16}B^{BF16} - A^{Q}B^{Q}||_{F}^{2}} \Bigg) (2) ... \end{align}

【논문 해설】 MXFP4를 통한 양자화 잠재력의 규명: 양자화 오차 감소 전략

요약

핵심 포인트

댓글