저전력 엣지 AI 배포를 위한 NVFP4 양자화(Quantization)의 영향 분석

엣지(Edge)에서의 에너지 효율적인 신경망 추론(Inference)을 위해서는 허용 가능한 정확도를 유지하면서 산술 비용(Arithmetic cost), 메모리 트래픽(Memory traffic), 연산 에너지(Computation energy) 및 저장 오버헤드(Storage overhead)를 줄여야 합니다. 본 논문은 엣지 효율적인 신경망을 위한 NVFP4 양자화(Quantization)에 대한 절제 연구(Ablation-focused study)를 제시하며, 활성화 정밀도(Activation precision), 가중치 정밀도(Weight precision), 블록 크기 스케일링(Block-size scaling), 재학습(Retraining) 및 모델 정확도 사이의 관계에 중점을 둡니다. NVFP4 활성화는 4비트 FP4 데이터, FP8 블록 스케일(Block scale), 그리고 FP32 텐서 스케일(Tensor scale)을 사용하여 표현되며, 이를 통해 활성화의 동적 범위(Dynamic range)를 보존하면서 초저정밀도 추론을 가능하게 합니다. 6개의 엣지 효율적 모델에 대한 블록 크기 절제 연구 결과, 블록 크기 B = 16이 실용적인 정확도/저장소 트레이드오프(Trade-off)를 제공하며, N = 4096일 때 입력당 단 4.5078비트만을 필요로 함을 보여줍니다. 가중치 정밀도 절제 연구는 동일한 NVFP4 활성화 경로 하에서 FP8 및 FP16 가중치가 FP4 가중치에 비해 미미한 이점만을 제공한다는 것을 추가로 보여주며, 이는 활성화 양자화(Quantization)와 스케일링(Scaling)이 정확도 동작의 상당 부분을 지배함을 시사합니다. NVFP4 데이터 타입의 이점을 격리하기 위해, 본 연구는 기존의 스케일링되지 않은 FP4 활성화 추론과 재학습을 포함하거나 포함하지 않은 NVFP4 활성화 추론을 비교합니다. 결과에 따르면 기존의 FP4 추론은 대부분의 컴팩트한 모델에서 정확도가 무너지는 반면, 재학습을 하지 않은 NVFP4는 FP8 블록 스케일링과 FP32 텐서 스케일링을 통해 활성화 동적 범위를 복원함으로써 이미 상당한 정확도를 회복합니다. 재학습과 결합했을 때, NVFP4는 평가된 모델 전반에서 최고의 정확도를 달성하며 스케일링 인식형(Scaling-aware) FP4 (NVFP4) 추론의 효과를 입증합니다. 이러한 발견은 GPU, Tensor Cores, FPGA, 도메인 특화 AI 가속기(Domain-specific AI accelerators), 근접 메모리 컴퓨팅 시스템(Near-memory computing systems) 및 신흥 엣지 컴퓨팅 아키텍처를 포함한 광범위한 가속기 플랫폼 전반에 걸쳐 저전력 엣지 추론의 하드웨어-소프트웨어 공동 설계(Hardware-software co-design)를 위한 일반적인 설계 지침을 제공합니다.