LLM 추론을 위한 MX 유사 텐서 코어 및 NPU 통합 하드웨어-소프트웨어 공동 설계 탐색

요약

본 논문은 LLM 추론을 위한 효율적인 데이터 형식(MX 유사 텐서 코어)의 설계 공간 탐색 및 NPU 기반 공동 하드웨어-소프트웨어 설계를 제안합니다. 비대칭 정밀도와 결합된 새로운 스케일 형식을 정의하고, 이를 오픈 소스 SNAX NPU 플랫폼에 통합한 자동화된 분석 흐름을 개발했습니다. 그 결과, FP4 양자화가 중요하며 UE5M3가 높은 정확도-하드웨어 트레이드오프를 제공함을 입증했습니다.

핵심 포인트

• LLM 추론 효율화를 위해 MX 유사 텐서 코어의 설계 공간 탐색이 필요합니다.
• 비대칭 가중치-활성화 정밀도를 결합하여 새로운 스케일 형식을 정의하고 특성화했습니다.
• 오픈 소스 SNAX NPU 플랫폼에 통합된 자동화된 공동 HW-SW 분석 흐름을 개발했습니다.
• UE5M3가 FP4 영역에서 우수한 정확도-하드웨어 트레이드오프를 제공함을 확인했습니다.