로컬 LLM 속도 비교 및 성능 분석

요약

본 글은 Unsloth와 Qwen 3.8 Flash Next 모델을 활용하여 로컬 환경에서 LLM의 속도 및 성능을 분석한 내용입니다. CachyOS 사용 시 최대 48t/s라는 높은 처리 속도를 달성했으며, 32k 컨텍스트 크기는 8GB GPU에서도 안정적으로 구동됨을 확인했습니다.

핵심 포인트

• Unsloth와 Qwen 모델 조합으로 로컬 LLM 구동 가능
• CachyOS 사용 시 최대 48t/s의 높은 처리 속도 달성
• 32k 컨텍스트 크기는 8GB GPU에서도 안정적 작동
• VRAM 한계로 인해 더 큰 컨텍스트(64k)는 어려움