독점 추론 라이브러리 없이 RK3588 NPU 런타임을 구축했습니다: Qwen3.5-4B를 ~10 tok/s로, 벤더 SDK보다 약 2배

요약

본 글은 Rockchip RK3588 NPU를 활용하여 독점 라이브러리 없이 로컬 LLM 추론 엔진인 open_rknpu2_lm_infer를 구축한 내용을 다룹니다. 이 엔진은 Rust와 C++로 작성되었으며, Qwen3.5-4B 모델을 벤더 SDK 대비 약 2배 빠른 속도로 구동할 수 있습니다.

핵심 포인트

• 독점 라이브러리 없이 RK3588 NPU를 활용하는 추론 엔진 개발
• Qwen3.5-4B 등 여러 모델에 대한 높은 추론 성능 입증 (벤더 대비 약 2배)
• 이미지 입력 지원 및 MTP(speculative decoding) 디코딩 기능 제공
• OpenAI API와 호환되는 스트리밍/도구 호출 기능 구현