양자화 텐서 프로그램용 사용자가 스케줄링 가능한 근사치
요약
본 기술은 양자화된 텐서 프로그램의 복잡성을 해결하기 위해 Halide 알고리즘을 확장했습니다. 근사치를 코덱으로 처리하여 일반적이고 스케줄링 가능한 커널 생성이 가능해졌습니다. 이 방법론은 기존 GGML 대비 코드베이스 크기를 줄이면서 Apple M3 Max 등에서 높은 성능 향상을 입증했습니다.
핵심 포인트
- 양자화는 엣지 디바이스용 모델 실행 시 텐서 커널 수를 증가시키는 문제점을 가짐.
- Halide와 코덱 개념을 결합하여 일반적이고 스케줄링 가능한 근사치 처리를 구현함.
- 새로운 방식은 GGML 대비 코드베이스가 3.7배 적고, 성능 최적화에 유리함.
- Apple M3 Max에서 해당 포맷별 커널 보유 시 최소 95%의 속도를 달성함.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기