Litespark Inference on Consumer CPUs: Custom SIMD Kernels for Ternary Neural

요약

대규모 언어 모델(LLMs)의 추론 비용 문제를 해결하기 위해 Ternary 모델을 활용하는 Litespark-Inference라는 새로운 방법을 제안합니다. 이 방법은 가중치가 {-1, 0, +1}로 제한된 Ternary 모델의 특성을 이용해 부동 소수점 곱셈 대신 정수 점곱 명령어를 사용하는 커스텀 SIMD 커널을 구현했습니다. 그 결과, Apple Silicon 및 Intel/AMD CPU에서 기존 표준 추론 방식 대비 현저히 빠른 속도와 높은 효율성(예: 첫 토큰 시간 9.2배 단축, 처리량 52배 증가)을 달성하여 개인 기기에서의 AI 작업 부하 활용도를 높였습니다.

핵심 포인트

• LLM 추론의 높은 계산 비용 문제를 해결하기 위해 Ternary 모델(가중치: {-1, 0, +1})을 사용합니다.
• Litespark-Inference는 커스텀 SIMD 커널을 개발하여 부동 소수점 연산 대신 정수 점곱 명령어를 활용함으로써 효율성을 극대화했습니다.
• 이 솔루션은 pip-installable하며 Hugging-Face와 직접 통합되어 사용 편의성이 높습니다.
• Apple Silicon 및 Intel/AMD CPU에서 기존 방식 대비 첫 토큰 시간 9.2배 단축, 처리량 52배 증가 등 뛰어난 성능 향상을 입증했습니다.