저전력 에지 효율적 신경망을 위한 NVFP4 추론에서의 블록 크기, 가중치 정밀도 및 스케일 정밀도에 관한 절제 연구 (Ablation

에너지 효율적인 에지 추론 (edge inference)을 위해서는 연산 비용, 메모리 트래픽 및 하드웨어 오버헤드를 줄여야 합니다. 본 논문은 에지 효율적 신경망 (edge-efficient neural networks)을 위한 LUT 기반 NVFP4 추론에 대한 절제 연구 (ablation-focused study)를 제시합니다. 제안된 NVLUT 프레임워크는 4비트 NVFP4 활성화 함수 (activations), 2단계 스케일링 (two-level scaling), LUT 기반 가수부 (mantissa) 계산, 전압 스케일링 저장소 (voltage-scaled storage) 및 선택적 ECC 보호를 결합합니다. 곱셈은 부호 (sign), 지수 (exponent), 가수부 (mantissa) 경로로 분해되며, 여기서 부호는 XOR 로직을 사용하고, 지수는 정수 덧셈을 사용하며, 가수부 곱셈은 컴팩트한 LUT 액세스로 대체됩니다. NVFP4 활성화 함수는 FP8 블록 스케일 (block scale)과 FP32 텐서 스케일 (tensor scale)을 사용하는 FP4 데이터를 사용합니다. 6개의 에지 효율적 모델을 대상으로 한 블록 크기 (block-size) 절제 연구 결과, B = 16이 실용적인 정확도/저장 공간 트레이드오프 (trade-off)를 제공하며, N = 4096일 때 입력당 4.5078비트만을 필요로 함을 보여줍니다. 가중치 정밀도 (weight-precision) 절제 연구에 따르면, 동일한 NVFP4 활성화 경로 하에서 FP8 및 FP16 가중치는 FP4 가중치에 비해 미미한 이득만을 제공합니다. 순수하게 스케일링되지 않은 FP4와 비교했을 때, 재학습 (retraining) 없는 NVFP4는 활성화 동적 범위 (activation dynamic range)를 복원함으로써 상당한 정확도를 회복하며, 재학습을 거친 NVFP4는 모델 전반에서 가장 높은 정확도를 달성합니다. 하드웨어 분석 결과, NVLUT는 ECC 및 전압 스케일링을 적용했을 때 기존 LUT 대비 최대 26.85배의 에너지 절감을 달성하였고, 혼합 전압 동작 (mixed-voltage operation) 하에서는 최대 22.85배의 절감을 달성했습니다. 면적은 각각 최대 2.21배 및 1.52배 감소했습니다. 이러한 결과는 선택적 신뢰성 보호를 갖춘 NVFP4 2단계 스케일링이 견고하고 저에너지인 에지 추론을 가능하게 함을 입증합니다.