Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MixFP4는 NVFP4의 한계를 극복하기 위해 제안된 적응형 FP4/INT4 혼합 마이크로 포맷 기술입니다. 추가 메타데이터 없이 E2M1과 E1M2 포맷을 선택적으로 사용하여 LLM 양자화의 정확도와 견고성을 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM)이 계속해서 확장됨에 따라, 상당한 처리량 (Throughput) 및 메모리 이점을 제공하는 NVFP4와 같은 미세 조정된 블록 스케일 저정밀도 (Fine-grained block-scaled low-precision) 포맷이 점점 더 많이 채택되고 있습니다. 그러나 단일 FP4 마이크로 포맷 (Micro-format)은 이질적인 블록 수준의 텐서 통계 (Tensor statistics)와 일치하지 않는 경우가 많습니다. 표준 블록 스케일 MMA/GEMM 실행 경로를 변경하지 않고 이를 해결하기 위해, 우리는 블록당 두 가지 저장된 FP4 마이크로 포맷 (E2M1 및 E1M2) 중에서 선택하는 NVFP4의 혼합 마이크로 포맷 확장인 MixFP4를 제안합니다. MixFP4는 NVFP4의 스케일 계층 구조 (Scale hierarchy)를 재사용하며, FP8 E4M3 블록 스케일의 부호 비트 (Sign bit)를 재용도 변경함으로써 추가적인 메타데이터 없이 포맷 선택을 인코딩합니다. 두 마이크로 포맷을 통합된 내부 E2M2 연산 표현 (Compute representation)으로 디코딩함으로써, MixFP4는 데이터 경로 (Datapath) 중복을 방지합니다. 대표적인 LLM 제품군 전반에 걸쳐, MixFP4는 미미한 텐서 코어 오버헤드 (면적 3.1%, 전력 1.5%)로 NVFP4 베이스라인 대비 FP4 양자화 (Quantization)의 견고성과 정확도를 향상시킵니다.