본문으로 건너뛰기
arXiv논문2026. 11. 17. 04:00
양자화 텐서 프로그램용 사용자가 스케줄링 가능한 근사치 대표 이미지

양자화 텐서 프로그램용 사용자가 스케줄링 가능한 근사치

원문 발행 2026. 11. 13. 06:25원문 언어 영어AI 한국어 번역arXiv cs.PL (Programming Languages) 원문 보기

요약

본 기술은 양자화된 텐서 프로그램의 복잡성을 해결하기 위해 Halide 알고리즘을 확장했습니다. 근사치를 코덱으로 처리하여 일반적이고 스케줄링 가능한 커널 생성이 가능해졌습니다. 이 방법론은 기존 GGML 대비 코드베이스 크기를 줄이면서 Apple M3 Max 등에서 높은 성능 향상을 입증했습니다.

핵심 포인트

  • 양자화는 엣지 디바이스용 모델 실행 시 텐서 커널 수를 증가시키는 문제점을 가짐.
  • Halide와 코덱 개념을 결합하여 일반적이고 스케줄링 가능한 근사치 처리를 구현함.
  • 새로운 방식은 GGML 대비 코드베이스가 3.7배 적고, 성능 최적화에 유리함.
  • Apple M3 Max에서 해당 포맷별 커널 보유 시 최소 95%의 속도를 달성함.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0