로컬 LLM 추론에 큰 진전!

요약

새로운 추론 엔진 'uzu'가 로컬 LLM 구동 속도를 획기적으로 개선했습니다. M5 MacBook Pro 환경에서 Qwen3.5 9B 모델을 테스트한 결과, uzu는 기존 방식 대비 월등히 빠른 성능(92.1 tokens/s)을 보여주었습니다. 이는 여러 토큰 후보군을 한 번에 생성하는 추측 디코딩 기술 덕분에 메모리 대역폭의 이론적 상한선을 뛰어넘었기 때문입니다.

핵심 포인트

• uzu는 기존 엔진 대비 월등히 빠른 로컬 LLM 추론 속도를 제공합니다.
• LLM 추론의 이론적 상한선은 메모리 대역폭에 의해 제한됩니다.
• 추측 디코딩(speculative decoding)을 통해 여러 토큰 후보군을 한 번에 생성합니다.
• Rust와 Metal 커널 기반으로 Mac 및 iOS 등 다중 플랫폼 지원이 가능합니다.