• 이 논문의 개요

• 실수 양자화 (Real-value Quantization)의 현주소 (Sec.1, Sec.6로부터)

• 배경 기술 (Sec.2로부터)

• NVMP4 vs MXFP4 (Sec.3로부터)

• 제안 기법 (Sec.4로부터)

• 성능 평가 (Sec.5, Appendix로부터)

• 결론 (Sec.7로부터)

• Meta의 연구원에 의해 게시된 실수 양자화 (FP4)에 관한 논문

• LLM의 대두로 대규모 모델에서 효율적인 추론을 가능하게 하는 저정밀도 포맷에 대한 수요가 증가

• OCP MX 표준

  • 하드웨어 효율성이 뛰어남 - 단, 4bit 형식 (MXFP4)은 정밀도 관점에서 NVIDIA NVFP4에 뒤처져 적용되는 장면이 한정됨

• 이 논문은 상기 문제점에 대해 소프트웨어적으로 해결을 도모하는 기법 두 가지를 제안함

• Overflow-Aware Scaling (OAS)

  • 2블록 스케일링의 유효 다이내믹 레인지 (Dynamic Range)를 크게 함으로써 전체적인 오차를 저감

• Macro Block Scaling (MBS)

  • 이상치 (Outlier)를 더 잘 보존하기 위해, 더 거친 입도 (Granularity)로 높은 정밀도의 스케일링을 할당

• Overflow-Aware Scaling (OAS)

• 제안 기법의 효과로서 다음을 꼽을 수 있음

  • 여러 LLM에 표준적인 다운스트림 벤치마크를 이용한 검증을 실행한 결과, 제안 기법을 적용한 MXFP4와 NVMP4의 엔드 투 엔드 (End-to-End) 정밀도 격차를 평균 약 10%에서 1% 이하로 저감
  • GEMM 오버헤드는 평균 6.2%를 달성

• 상기 효과로부터 알 수 있는 점

• MXFP4가 NVFP4를 대체할 수 있는 실용적인 기법이 될 수 있음

• MX 시리즈의 하드웨어 효율성 이점을 유지하면서 NVFP4에 가까운 정밀도를 실현

• 양자화 기술 발전의 배경

• LLM의 등장으로 인공지능 상황은 급격히 변화하며, 다양한 애플리케이션에서 브레이크스루 (Breakthrough)를 견인

• 더 높은 퍼포먼스에 대한 요구가 높아졌으며, 모델 사이즈는 전례 없는 규모로 확장됨

• 양자화는 비트 수를 줄임으로써 이러한 과제를 해결하는 동시에, LLM의 효율적인 전개를 가능하게 함

• FP4 양자화 포맷의 등장 (2023년)

• 다양한 포맷이 제안되는 가운데, OCP가 제안한 MX가 여러 기업에 의해 채택되어 지지를 얻으며 표준화되어 가고 있음

• MX에는 8bit, 6bit, 4bit 등 여러 비트 사이즈의 포맷이 존재

• MX는 8bit, 6bit에서는 데모에 성공했으나, 4bit (MXFP4)는 모델 품질 유지에 과제가 존재

• 4bit의 대항마 NVFP4 등장 (2025년)

• NVIDIA가 MXFP4보다 높은 표현 충실도 (Fidelity)를 가진 NVFP4를 제안

• 몇몇 연구에서 NVFP4가 모델의 품질을 더 잘 유지한다는 것이 보여짐

• 이 결과로 인해, 모델의 정밀도 요구가 높은 시나리오에서 MXFP4 채택의 큰 장벽이 되고 있음

• NVIDIA가 MXFP4보다 높은 표현 충실도를 가진 NVFP4를 제안

• NVFP4는 그 정밀도 유지 성능의 반면 다음과 같은 문제가 발생

  • 하드웨어 설계에 여분의 면적이 필요 (전용 칩 탑재에 의한 것)
  • 에너지 오버헤드가 발생

• 이를 받아 이 논문에서는 다음을 실시

• MXFP4와 NVFP4의 표현 충실도와 하드웨어 비용 관점에서의 상세한 비교

• 비교 결과로부터 MXFP4의 한계를 넓히고, 또한 하드웨어 변경은 필요 없이 정밀도를 향상시키는 전략을 제안

• 제안 기법은 MXFP8이나 MXFP6 등 다른 MX 포맷에도 적용 가능한 기법

• 이 논문의 주요 성과

• MXFP4와 NVFP4의 정밀도 차이가 발생하는 요인인 블록 입도 (Block Granularity)와 제곱 스케일링 정밀도를 특정하고, 그 표현 충실도와 하드웨어 면적의 트레이드오프 (Trade-off)를 정량화

• 하드웨어 변경은 필요 없이 MXFP4의 표현 충실도를 향상시키며, MXFP4 호환 디바이스에 적용 가능한 두 가지 소프트웨어 기술 OAS와 MBS를 제안

• 제안 기법을 구현한 MXFP4가 GEMM 오버헤드를 평균 6.2%로 억제하고, NVFP4에 가까운 표현 충실도 (QSNR 1dB 미만)와 다운스트림 정밀도 (평균 1% 이내)를 달성

• 관련 연구

• 선행 연구에서는 블록 기반의 저정밀도 포맷 개선을 탐구

• BDR은 짧은 마이크로 지수 (Micro-exponent)를 도입하여 MX 스타일의 포맷을 제안

• 몇몇 방법에서는 인접한 대상값으로부터 정밀도를 재할당함

• 이종 비트 폭의 인터커넥트 지원을 추가하는 등 이상치를 특별하게 다룸

• 이러한 연구 성과를 적용하기 위해서는 GPU에 대한 하드웨어 변경을 필요로 함

• 일반적인 GPU에 대한 전개가 제한됨

• MX+는 가장 가까운 선행 연구로, MXFP4 상에 블록 최대값의 가수 비트(mantissa bit)를 추가하여 저장하고 온더플라이(on-the-fly) 변환을 통해 GPU 상에서 실행하지만, 다음과 같은 문제가 발생

• 추가적인 희소 GEMM (Sparse GEMM)을 도입하기 때문에 최대 54%의 오버헤드가 발생

• 정밀도는 캘리브레이션(Calibration)과 PTQ를 통해 더욱 향상 가능

• GPTQ 스타일의 PTQ는 베이스 모델과의 격차를 줄임

• 제안하는 방법론은 PTQ와 QAT의 혜택을 받을 가능성이 있으나, 이는 향후 연구에 맡김

• Transformer 아키텍처

• Llama3, Llama 4, Qwen, Deepseek, GPT-OSS 등의 최신 LLM은 Transformer 아키텍처를 기반으로 구축됨

• 그림 1은 이러한 LLM에서 사용되는 디코더 부분의 아키텍처

• 이러한 모델에서 지배적인 계산은 다음과 같음

• QKV 투영 (Projection)

• 출력 투영 (Output Projection)

• FFN의 선형층 (Linear Layer)

• 이 논문은 가중치(Weight)와 활성화(Activation)의 양자화를 통해 상기 연산의 효율을 향상시키는 것에 초점을 맞춤

• Llama3, Llama 4, Qwen, Deepseek, GPT-OSS 등의 최신 LLM은 Transformer 아키텍처를 기반으로 구축됨

• FP4를 통한 양자화

• 양자화를 통해 가중치와 활성화의 정밀도를 낮추어 추론 효율을 향상시킴

• 일반적인 방법으로서 입도(Granularity, 텐서별, 채널별, 그룹별)와 스케일링 전략(대칭 또는 비대칭)이 서로 다른 다양한 전략을 채택

• QAT나 PTQ를 채택함으로써 비트 수를 줄이면서도 모델 성능의 최적화가 가능

• MXFP4나 NVFP4와 같은 최근의 저비트 포맷은 모델 정밀도 유지와 비트 수 감소 사이의 트레이드오프(Trade-off)를 적극적으로 추구

• 주요 FP4 포맷

• NVFP4: NVIDIA가 개발한 포맷이며, NVIDIA GPU와의 호환성 덕분에 널리 채택됨

• MXFP4: OCP에 의해 표준화된 포맷이며, 하드웨어 효율이 좋음

• 각 포맷의 특징

• MXFP4: E2M1의 4bit 데이터 요소와 32개 요소마다 적용되는 공유 E8M0 블록 스케일(Block Scale)의 두 가지 컴포넌트로 구성됨. 리소스를 대폭 절감함으로써 에너지 효율이 높은 배포가 가능

• NVFP4: E2M1의 4bit 데이터 요소, 16개 요소마다 적용되는 공유 E4M3 FP8 블록 스케일, 범위 제한을 완화하기 위한 텐서별 스케일링 필터의 세 가지 컴포넌트로 구성됨. 높은 표현 충실도(Fidelity)를 실현

• 주요 FP4 포맷

(참고) TF32 (sign 1bit, exponent 8bit, mantissa 10bit)

• 하드웨어 대응

• LLM 내의 연산은 일반 행렬 연산(GEMM) 연산이 중심임

• 그림 3의 텐서 코어(Tensor Core)는 MXFP4, NVFP4에 대응하는 전형적인 아키텍처

• A와 B의 메모리는 입력 오퍼랜드(Operand) 행렬을 저장

• C의 메모리는 부분합(Partial Sum) 또는 최종 출력을 저장

• 성능, 소비 전력, 면적의 제약에 따라 인스턴스화된 여러 개의 도트 곱 유닛(DPU, Dot Product Unit)은 대상이 되는 GEMM 연산을 위해 하드웨어 타일 크기를 지정하여 실행

• 분석 방법

• 이 논문에서 표현 충실도를 평가하는 방법으로는 dB 단위로 측정되는 양자화 신호 대 잡음비(QSNR)를 사용함

• QSNR은 엔드투엔드(End-to-End) 추론 메트릭과 강한 상관관계를 보임

• 다른 선행 연구에서도 포맷 선택의 일시적 분석을 위해 사용되고 있으므로 채택함

• 개별 입력 텐서와 연산 후의 결과(MatMul 출력 등)라는 두 가지 입도에서 QSNR을 계산

• 양자화된 텐서와 양자화 전의 텐서 사이의 MSE를 정규화할 수 있음

• QSNR이 높을수록 충실도가 높음 (즉, 정밀도가 높음)

• $A^{BF16}$을 원래의 고정밀도 텐서, $A^{Q}$를 양자화된 텐서라고 하면, QSNR은 다음과 같이 (1), (2)식과 같이 양자화 노이즈에 대한 기준 신호 파워의 로그 비로 정의할 수 있음

\begin{align}
\QSNR(A^{BF16}, A^{Q}) = 10 \log_{10} \Bigg( \frac{||A^{BF16}||_{F}^{2}}{||A^{BF16}-A^{Q}||_{F}^{2}} \Bigg) (1) \\
\QSNR(AB) = 10 \log_{10} \Bigg( \frac{||A^{BF16}B^{BF16}||_{F}^{2}}{||A^{BF16}B^{BF16} - A^{Q}B^{Q}||_{F}^{2}} \Bigg) (2)
...
\end{align}

• 이 논문에서는 Llama 3.1-8B-Instruct와 Qwen3-8B 두 종류에 대해 QSNR 분석을 실시함

• 측정에는 추론 시 덤프(dump)한 텐서를 사용하며, 1000개의 텐서를 랜덤 샘플링하여 그 평균값을 사용하여 QSNR 측정을 실시함

세밀한 블록 양자화 (Block Quantization)의 의의와 영향

• FP4의 지수 폭(Exponent width)은 제한적(E=2)이기 때문에, 표현 가능한 다이내믹 레인지(Dynamic range)는 12x(=6.0/0.5)로 매우 작은 비율이 됨

• 결과적으로 변동성이 큰 블록은 필연적으로 더 작은 크기(magnitude) 값에 대해 flush로부터 0으로 양자화되는 값의 비율이 증가함

• 활성화 텐서(Activation tensor)의 경우, 블록 사이즈를 32에서 16으로 줄이면 flush 대 0의 값이 $20%$에서 $13%$로 감소함 (즉, $35%$ 감소)

• 회전 행렬(Rotation matrix)을 사용하는 기법은 블록의 다이내믹 레인지를 축소하는 데 도움이 됨

• 결과적으로 블록 사이즈를 줄이면 QSNR은 1dB 정도 증가함

MXFP4의 8bit 지수 확장 범위는 대부분이 중복됨

• 거의 모든 가중치(Weight) 텐서, $98%$ 이상의 활성화 텐서에 대해 스케일링 팩터(Scaling factor)의 다이내믹 레인지를 포착하는 데 지수부는 4bit로 충분히 대응 가능함

• 결과적으로 남은 4bit의 지수 비트가 이용되지 않은 채 남게 됨

• 제안하는 방법에서는 지수를 버림(truncation)으로써 이에 대응함

• 거의 모든 가중치 텐서, $98%$ 이상의 활성화 텐서에 대해 스케일링 팩터의 다이내믹 레인지를 포착하는 데 지수부는 4bit로 충분히 대응 가능함

중요한 것은 가수 비트(Mantissa bit)

• 계통적인 텐서 이상치(Outlier)가 양자화 임계값을 지배한다고 생각하면, 가수부의 정확한 분해능이 정밀도 유지에 있어 가장 중요함

• MXFP4(E8M0)는 가수부가 없으며, 스케일링 팩터를 2의 거듭제곱으로 엄격하게 제약함

• 결과적으로 이상치의 정확한 표현을 방해함

• 4.0~6.0 사이의 값은 $20%$ 정도의 표현 에러를 일으킬 가능성이 있음

• NVFP4는 E4M3 형식이므로 3bit의 가수 비트를 가져 이상치의 근사도 더 정밀하게 근사함

• 주어진 8bit 비트 수 내에서 크기(magnitude)가 큰 값에 대해 오차를 효과적으로 최소화함

• 결과적으로 QSNR을 대폭 향상시킬 수 있음

• 주어진 8bit 비트 수 내에서 크기(magnitude)가 큰 값에 대해 오차를 효과적으로 최소화함

블록 사이즈와 스케일링 팩터 형식이 하드웨어 비용에 미치는 영향

• 하드웨어 비용을 이해하기 위해 다음 방법을 채택함

• 멀티 포맷 텐서 코어(Multi-format Tensor Core)로부터 주요 컴포넌트(요소별 matmul, 가산 트리(Addition tree), 시프트 연산부 등)의 베이스라인 면적을 추출하여 TSMC 공정 노드에 매핑함

• 상기 수치를 사용하여 NVFP4와 MXFP4의 트레이드오프(Trade-off)로서 다음 두 가지를 구축함

  • 스케일 팩터 블록 사이즈 (32 대 16)
  • 스케일 팩터 포맷 (E8M0 대 E4M3)의 영향을 비교하는 분석 영역 모델

• 공정한 비교를 위해 텐서 코어 설계 간에 동일한 하드웨어 타일 사이즈를 가정함

• 텐서 코어 면적은 그림 3과 같이 메모리와 연산 로직의 주요 구성 양상에 기인함

• 블록 사이즈의 오버헤드

• 32 대신 16의 스케일 팩터 블록 사이즈를 사용했을 때의 면적 영향을 측정함

• E8M0 스케일 팩터를 가정함

• 저자들의 면적 모델에 따르면 블록 사이즈 16은 블록 사이즈 32에 비해 텐서 코어 면적을 $2%$ 증가시킴

• A/B 메모리에 필요한 SRAM 사이즈가 약간 커지는 것과 블록 간 가산기(Adder)의 폭이 증가하는 것에 기인함

• 블록 사이즈 32에서는 요소당 4.25bit

• 블록 사이즈 16에서는 요소당 4.5bit

• A/B 메모리에 필요한 SRAM 사이즈가 약간 커지는 것과 블록 간 가산기의 폭이 증가하는 것에 기인함

• 블록 사이즈를 16으로 고정하고, E8M0가 아닌 E4M3 스케일 팩터 형식으로 면적 오버헤드를 정량화함

• 32 대신 16의 스케일 팩터 블록 사이즈를 사용했을 때의 면적 영향을 측정함

• 하드웨어 비용을 이해하기 위해 다음 방법을 채택함

연산 로직(그림 4의 DPU) 관점의 경우

• DPE(Dot Product Engine) 간의 블록 간 정렬(Alignment) 로직에 주요한 차이가 발생함

• 각 블록의 유효 스케일을 해결함

• 최대 지수($E_{max}$)를 계산함

• 블록 간의 부분합(Partial sum)을 가산함

• $E_{max}$에 관하여 블록 레벨의 가수부를 정렬(Alignment)함

• 위 사항에 더해 몇 가지 검증을 수행한 결과, 블록 간 정렬(Alignment)은 E8M0보다 E4M3의 비용이 훨씬 더 높게 나타났다. 저자들의 에리어 모델(Area model)에 따르면, 스케일 팩터 포맷(Scale factor format)으로 E4M3를 사용할 경우 동일한 블록 크기에서 E8M0 대비 $21.3%$의 계산 로직 에리어 오버헤드(Logic area overhead)와 $12.6%$의 총 텐서 코어 에리어 오버헤드(Total Tensor Core area overhead)가 발생한다.

검증 결과

• NVFP4와 MXFP4 간의 입도(Granularity) 차이에 충실도(Fidelity) 격차가 존재한다고 가정

• 블록 크기 변경과 스케일링 팩터 변경 모두 충실도를 향상시킴

• 단, 현저한 트레이드오프(Trade-off)로서 스케일 팩터의 해상도를 높이면 하드웨어 비용이 증가하고, 블록 크기를 작게 하면 하드웨어 비용이 감소함을 밝혀냄

• 따라서 E8M0 형식을 유지하면서, 공간적 국부성(Spatial locality)을 활용하기 위해 더 세밀한 블록 크기를 국부적으로 이용

• 하드웨어 비용과 관련되지 않으면서 세밀한 스케일 팩터 포맷의 정밀도를 유지하는 것을 목적으로 제안하는 두 가지 수법을 채택

• 결과적으로 MX 포맷의 면적 효율성을 유지하면서 NVFP4에 필적하는 정밀도를 달성

양자화 블록의 입도(Granularity)

• FP4와 같은 저정밀도 포맷에서는 블록 크기의 축소가 필수적임

• NVIDIA의 GPU에서는 MXFP4의 경우 블록 크기가 32로 제한되며, NVFP4라면 더 세밀한 블록 크기를 지원함

NVFP4 파이프라인을 이용함으로써, 블록의 스케일링 팩터를 2의 거듭제곱으로 명시적으로 제약(수치 해석을 용이하게 하기 위해) - E4M3 포맷은 두 개의 E4M0 포맷으로 동작하여 거듭제곱을 표현 가능

• 이 접근 방식을 통해 하드웨어를 변경하지 않고도 블록 크기 16에서 MX 스타일의 스케일링을 실행할 수 있음

• 이 조정을 통해 1dB의 QSNR 향상을 실현

• 스케일링 팩터의 대부분은 텐서의 최댓값 범위 내에 존재함

• 값의 버림(Truncation)을 무시할 수 있을 정도로 유효 다이내믹 레인지(Effective dynamic range)를 캡슐화할 수 있음

• FP4와 같은 저정밀도 포맷에서는 블록 크기의 축소가 필수적임

Overflow-Aware Scaling (OAS)

• 기존 MXFP4에서는 각 1×16 블록의 최대 절대값 $\alpha_{max}$가 FP4의 최대 표현값인 6.0에 대응하도록 스케일 계수를 계산함

이를 통해 최댓값의 오버플로우(Overflow)는 방지할 수 있지만, 작은 값의 표현 범위가 좁아져 많은 값이 0으로 반올림됨 (flush-to-zero)

저자들은 블록 내 최댓값이 특정 범위에 존재하는 경우 약간의 오버플로우를 허용하고, 더 큰 스케일 계수를 적용할 것을 제안함

최댓값의 양자화 오차는 약간 증가하지만, 작은 값의 표현 정밀도가 향상되기 때문에 블록 전체로서의 양자화 오차를 감소시킴

검증 결과에서는 OAS를 통해 QSNR이 약 0.5dB 개선됨

즉, FP4의 최댓값을 엄격하게 지키는 것보다 블록 전체의 오차 감소를 우선하는 수법이며, 일부 오버플로우를 허용하여 저값 측의 표현 능력을 향상시킴

Macro Block Scaling (MBS)

• MXFP4에서는 스케일 계수가 E8M0 형식이며, 2의 거듭제곱만을 표현할 수 있음. 따라서 최적의 스케일 계수를 정확하게 표현할 수 없어 양자화 오차가 발생함

• 반면 NVFP4의 E4M3 스케일은 정밀도가 높지만 하드웨어 비용이 증가함

• 저자들은 1×128의 더 큰 단위(Macro Block)로 추가 스케일 계수를 도입할 것을 제안함

• 이 보조 스케일을 통해 각 1×16 블록으로 입력되는 값의 분포를 사전에 조정할 수 있음

• 결과적으로 E8M0 스케일을 유지하면서 E4M3에 가까운 스케일 정밀도를 실현

• E8M0의 거친 스케일 정밀도를 보완하기 위한 보조 스케일로 이용

• 하드웨어 효율이 낮은 E4M3를 직접 도입하지 않고 NVFP4에 가까운 정밀도를 목표로 하는 수법

• 정밀도 향상과 하드웨어 비용 사이의 균형을 노리고 있음

제안 수법의 요점

• FP4는 허용되는 값의 범위가 좁기 때문에 제안 수법을 도입함으로써 정보 손실 완화를 실현

• OAS: FP4의 좁은 다이내믹 레인지로 인한 저값 측의 정보 손실을 완화

• MBS: E8M0 스케일의 거친 특성으로 인한 양자화 오차를 완화

• FP4는 허용되는 값의 범위가 좁기 때문에 제안 수법을 도입함으로써 정보 손실 완화를 실현

• QSNR 분석

• 양자화 기법을 활성화 (Activation), 가중치 (Weight), 출력 (Output)에 각각 적용했을 때의 결과로 QSNR을 산출하여 비교

• 여기서 MBS-S (간이 버전), MBS-D (고정밀 버전), MBS-H (하이브리드 버전)라고 정의함

• MXFP4에 제안 수법을 구현함으로써 QSNR이 개선되고, NVFP4에 근접한 성능을 실현할 수 있는지 검증

그림 6: 활성화 (Activation), 가중치 (Weight), 출력 (Output)에 관한 포맷을 변경하여 수행한 QSNR 분석

• 평가 방법

• vLLM을 추론 엔진 (Inference Engine)으로 사용

• 평가 프레임워크로서 Language Model Evaluation Harness를 이용

• 평가 모델은 다음 4종류

  • Llama 3.1-8B-Instruct
  • Qwen3-8B
  • Llama 4-Maverick
  • Deep SeekR1

• 모든 선형층 (QKVO, FFN, MoE에서의 각 전문가/Expert)을 양자화

• 가중치 (Weight)와 활성화 (Activation) 모두에 적용

• 캘리브레이션 (Calibration) 데이터는 사용하지 않으며, 재학습 (Re-training) 등도 수행하지 않음

표 1: Llama 3.1-8B-Instruct에서의 다운스트림 (Downstream) 평가 결과

표 3: DeepSeek-R1에서의 다운스트림 (Downstream) 평가 결과

표 4: GEMM 커널 (Kernel)의 오버헤드 (Overhead) 평가 결과 (단위: TFLOPS)

표 5: Llama 4-Maverick에서의 다운스트림 (Downstream) 평가 결과

• 저자들은 MX 포맷을 분석하여 NVFP4와의 정밀도 차이의 근저에 있는 중요 요인을 특정함

• 특정된 중요 요인으로부터 MXFP4를 강화하는 OAS와 MBS를 제안

• 결과적으로 정밀도 저하를 평균 $62%$ 감소시켰으며, NVFP4와의 격차를 평균 $10%$에서 $1%$로 감소시키는 것을 실현

• MXFP4가 NVFP4와 동등한 성능을 발휘하며, LLM 추론에 있어 더욱 효율적이고 정확한 양자화를 가능하게 함을 보여줌

• 하드웨어 (특히 GPU)의 저수준 (Low-level) 부분을 다루는 라이브러리 지식 등이 없으면 중간 계산 과정을 따라가기 힘든 내용이었다는 것이 솔직한 의견

• MX 포맷이 NV 포맷에 대해 우월한 점 (말하자면 셀링 포인트였던 부분)은 그 개방성(Openness)이었을 것이다. 그런데 이번 수법은 MXFP4에 NVIDIA GPU가 탑재하고 있는 칩을 이용할 수 있도록 구현을 추가하여, 말하자면 NVFP4에 소프트웨어적으로 맞춘 결과 성능이 가까워졌다는 결론이라, 어렵게 얻은 개방성을 죽여버린 것처럼 느껴진다. AMD나 Intel GPU에서도 실현 가능한 수법이라면 보는 관점이 달라졌을 것이라 생각하기에 아쉽다.

• 제목이 다소 과장된 표현이라 무척 재미있는 논문일 것이라 생각하고 집어 들었는데, 조금 실망했다. 시도하려는 컨셉은 꽤 흥미롭다고 생각한다. 이것이 NVIDIA 아키텍처에 의존하지 않는 수법이라면 더 깊게 검증해 보는 것도 재미있을 것 같다. 향후의 진전을 기대하고 싶다.

• 실수 양자화 (Real-number Quantization)는 실질적으로 MX 포맷과 NV 포맷 두 종류이다. 이는 실수 연산이 하드웨어적으로 대응하는 포맷이 아니라면 현실 시간 내에서의 실행이 어렵다는 점이 가장 큰 걸림돌이라는 것을 본 논문을 읽고 다시금 실감했다.