Celeron N5095 SBC에서 CPU 전용 추론 수행: 0.6B부터 8B까지 6개 모델 벤치마크

요약

Celeron N5095 기반 SBC인 Youyeetoo X1S에서 Ollama를 이용해 CPU 전용 LLM 추론 성능을 벤치마크했습니다. 0.6B 모델은 실용적인 속도를 보였으나, 8B 모델은 메모리 대역폭 한계로 인해 사용이 어려웠습니다.

핵심 포인트

• Qwen3 0.6B 모델은 약 6.788 tok/s로 백그라운드 작업에 적합함
• 8B 모델은 실행은 가능하나 0.924 tok/s로 실사용이 매우 어려움
• 8B 모델의 성능 저하는 메모리 용량이 아닌 대역폭 문제임
• 15W 미만 x86 환경에서 소형 모델 구동은 예상보다 실용적임