ExaGEMM: 저비트 GEMM을 위한 CPU 기반 탐색 프레임워크 (연관 레지스터 컴퓨팅 활용)

원문 발행 2026. 07. 16. 15:38원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

ExaGEMM은 저비트 GEMM을 위한 CPU 네이티브 탐색 프레임워크를 제시합니다. 이 프레임워크는 레지스터에 상주하는 LUT 실행을 활용하여, 기존 SIMD 데이터 경로가 처리할 수 있는 영역과 추가적으로 필요한 하드웨어(선택/피딩 메커니즘)의 비용을 분석합니다. 이를 통해 시뮬레이션 전에 후보 공간을 효과적으로 가지치기하고 최적화된 ISA 사양 및 커널을 생성하여, LLM 워크로드에서 지연 시간을 크게 개선할 수 있습니다.

핵심 포인트

저비트 GEMM 구현을 위한 CPU 네이티브 탐색 프레임워크 ExaGEMM 제시
레지스터 내 LUT 실행과 기존 SIMD 경로의 결합으로 효율성 확보
하드웨어 오버헤드 및 컴퓨팅 비용 분석을 통한 후보 공간 가지치기(pruning)
LLM 워크로드에서 소프트웨어 대비 지연 시간을 13.29배 개선

저비트 GEMM은 효율적인 ML 추론에 점점 더 중요해지고 있지만, 매우 낮은 비트 실행은 기존 CPU에는 적합하지 않은 경우가 많습니다. 실제 배포는 1/2/4비트 가중치부터 다양한 활성화 정밀도까지 파편화된 영역을 아우르며, 이들 영역의 실현 가능성, 재사용 기회, 그리고 지원 비용은 고정된 SIMD 및 레지스터 파일 예산 하에서 서로 다릅니다. 따라서 경량 CPU 지원 선택 자체가 주요 설계 문제가 됩니다. 본 논문에서는 ExaGEMM을 제시합니다. 이는 레지스터에 상주하는 LUT 실행을 통해 CPU 네이티브 저비트 GEMM을 위한 워크로드 인식 코디자인 및 탐색 프레임워크입니다. 핵심 통찰은 기존 SIMD 데이터 경로가 이미 테이블 생성과 누적(accumulation)을 처리한다는 것이며, 새로 필요한 하드웨어는 명시적으로 모델링된 비용을 가진 레지스터 내 선택/피딩 메커니즘뿐이라는 것입니다. ExaGEMM은 레지스터 실현 가능성, 컴퓨팅 비용, 메모리 트래픽, 그리고 하드웨어 오버헤드에 대한 분석적 모델을 사용하여 매개변수화된 커널과 경량 SIMD ISA 지원을 공동 탐색합니다. 이를 통해 시뮬레이션 전에 후보 공간을 99.2% 가지치기(pruning) 합니다. 이후 비지배 영역(non-dominated support points)을 식별하고, 검증을 위한 ISA 사양, gem5 패치, 그리고 GEMM 커널을 생성합니다. 대표적인 ML 모델과 CPU 타겟 전반에 걸쳐 ExaGEMM은 소프트웨어 전용 기준선 대비 지연 시간(latency)을 13.29배 개선하는 동시에, 워크로드 인식 프론티어 선택이 혼합 정밀도 LLM 워크로드에서 특히 중요하다는 것을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

ExaGEMM: 저비트 GEMM을 위한 CPU 기반 탐색 프레임워크 (연관 레지스터 컴퓨팅 활용)

요약

핵심 포인트

댓글