Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 다양한 저정밀 포맷(FP4, BF16 등)을 효율적으로 지원하는 가중치-정지 다중 포맷 시스톨릭 배열인 MFSA를 제안합니다. MFSA는 PE 레벨에서 공유 데이터 경로와 비례적 스케일링을 통해 여러 포맷을 지원하며, 블록 스케일에서는 OBSR 기법으로 오버헤드를 줄여 면적 및 에너지 효율성을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 워크로드는 정확도, 메모리 사용량 및 처리량을 균형 있게 맞추기 위해 모델, 레이어 및 실행 단계 전반에 걸쳐 BF16/FP16, FP8 변종, FP4, 마이크로 스케일링(MX), INT 모드와 같은 저정밀 포맷을 점점 더 많이 활용하고 있으며, 이는 하드웨어가 이러한 포맷들을 유연하고 효율적으로 지원할 것을 요구합니다. 본 논문은 두 가지 아키텍처 선택을 통해 면적 효율성을 달성하는 가중치-정지 다중 포맷 시스톨릭 배열인 MFSA를 제시합니다. PE(Processing Element) 레벨에서, MFSA는 기존 오픈 소스 트랜스-정밀 FPU로부터 확장된 점곱-누산기 기반 처리 요소를 사용하여 공유 데이터 경로와 비례적인 처리량 스케일링을 통해 저정밀 포맷(FP32/FP16/BF16/CFP8/FP4/INT16/INT8/INT4)을 지원합니다. 배열 레벨에서, MFSA는 블록 스케일 포맷을 위해 온라인 블록-스케일 리베이스링(Online Block-Scale Rebasing, OBSR)을 사용하는데, 이는 각 블록 스케일을 두 번째 크로스-블록 누산기를 추가하지 않고 실행 중인 FP32 부분 합에 블록 경계에서 접어넣음으로써 블록 스케일 지원의 추가적인 오버헤드를 줄입니다. TSMC 28 nm, 1 GHz 조건에서, 매칭된 처리량 BF16/FP8/FP4 캐스케이디드 FMA-PE 기준선은 단일 포맷 DPA-PE보다 각각 1.5배/2.5배/4.5배 더 크며, 서브워드 병렬성이 증가함에 따라 그 격차는 커집니다. 라우팅된 16x16 MFSA는 FP32/BF16/FP8/FP4의 최대 0.5/1/2/4 TOPS에 도달하며, OBSR은 실제 LLM 트레이스에서 수치적 안정성을 해치지 않으면서도 면적과 에너지 측면에서 순수 MX 구현 기준선 대비 증가하는 MX 오버헤드를 각각 64.2%, 67.5%까지 줄입니다. BF16+CFP8 시스톨릭 배열을 기반으로 다른 모든 포맷 지원을 추가하는 데는 25.7%의 추가 면적이 소요됩니다. OBSR은 또한 2의 거듭제곱이 아닌 블록 스케일에도 확장되어, E4M3 스케일의 분수 부분을 MFPE 점곱에 접어넣음으로써 CFP8+FP4 기반에서 NVFP4와 OCP MX를 지원하며, 이는 순수 구현 대비 면적 11.8%, 전력 7.3%로 비용이 절반 이하입니다.