모든 스케일에 능한: MXFP 정밀도를 위한 다용도 FPGA 텐서 블록
요약
최신 딥러닝 워크로드가 요구하는 저정밀도 마이크로 스케일 부동소수점(MXFP) 형식에 대한 FPGA 구현 방안을 연구했습니다. 본 논문은 Altera Agilex-5 FPGA에서 MXFP 내적 구현의 다양한 전략을 분석하고, 텐서 모드의 산술 밀도를 평가합니다.
핵심 포인트
- 딥러닝 워크로드는 효율성을 위해 저정밀도 MXFP 형식(MXFP8, MXFP6, MXFP4)에 의존한다.
- 기존 FPGA DSP 블록은 이러한 MXFP 형식에 대한 네이티브 지원이 제한적이다.
- 텐서 모드가 높은 산술 밀도를 보이나, 특정 MXFP 정밀도 구현에는 한계가 있다.
최신 딥러닝 워크로드는 효율성을 높이고 메모리 사용량을 줄이기 위해 점차 좁은 수치 형식에 의존하고 있습니다. 최근 표준화된 마이크로 스케일 부동소수점(MXFP) 형식군에는 MXFP8, MXFP6, MXFP4가 포함되며, 이는 저정밀도 추론을 위한 실용적인 접근 방식을 제공합니다. 하지만 현재 FPGA 아키텍처의 디지털 신호 처리(DSP) 블록은 이러한 형식에 대한 네이티브 지원이 제한적입니다. 본 연구에서는 먼저 Altera Agilex-5 FPGA에서 MXFP 내적 구현에 대한 포괄적인 특성 분석을 제시하며, 순수 소프트 로직부터 고정 소수점, 부동소수점 및 텐서 모드의 DSP 블록까지 다양한 전략들을 탐구합니다. 우리의 결과는 텐서 모드가 MXFP4 (E2M1)와 MXFP6 (E2M3)에 대해 가장 높은 산술 밀도를 제공하지만, MXFP6 (E3M2)나 어떤 MXFP8 정밀도도 구현할 수 없어 설계자들이 더 낮은 밀도의 대안으로 돌아가도록 강제한다는 것을 보여줍니다. 이러한 격차에서 영감을 받아 우리는 targe
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기