XtraMAC: An Efficient MAC Architecture for Mixed-Precision LLM Inference on FPGA

요약

본 논문은 대규모 언어 모델(LLMs)의 혼합 정밀도 추론에 최적화된 새로운 MAC 아키텍처인 XtraMAC을 제안합니다. 기존 FPGA 기반 솔루션들이 가진 고정 데이터 타입 및 자원 공유 비효율성 문제를 해결하기 위해, XtraMAC은 단일 데이터 타입 적응형 마이크로 아키텍처 내에서 정수, 부동소수점, 혼합 정밀도 연산을 통합적으로 처리합니다. AMD Xilinx U55c FPGA 테스트 결과, XtraMAC은 기존 대비 높은 컴퓨팅 밀도와 에너지 효율성, 속도 향상을 입증했습니다.

핵심 포인트

• XtraMAC은 LLM의 혼합 정밀도 추론 워크로드를 위해 설계된 새로운 MAC 아키텍처입니다.
• 기존 FPGA 솔루션의 한계(고정 데이터 타입, 자원 비효율성)를 극복하고 모든 데이터 타입을 단일 적응형 마이크로 아키텍처에서 처리합니다.
• XtraMAC은 공유 정수 유효숫자 곱과 경량 부호/지수 처리를 통해 DSP 자원을 효율적으로 공유하여 성능을 극대화합니다.
• 실제 FPGA 테스트 결과, XtraMAC은 컴퓨팅 밀도 향상(1.4-2.0배), 에너지 효율성 및 속도 향상을 달성했습니다.