llama.cpp DeepSeek v4 Flash 실험적 추론

요약

본 기사는 llama.cpp를 사용하여 DeepSeek v4 Flash 모델을 실험적으로 구동하는 과정을 다루고 있습니다. 특히, 2비트 양자화된 GGUF 파일을 활용하여 제한적인 RAM 환경에서도 추론이 가능함을 보여줍니다. 저자는 이 모델의 성능과 안정성을 높이기 위해 라우팅된 전문가(routed experts)는 2비트로, 나머지 부분은 Q8로 다르게 양자화하는 방식을 적용했습니다.

핵심 포인트

• llama.cpp를 통해 DeepSeek v4 Flash 모델을 실험적으로 구동할 수 있습니다.
• 2비트 양자화를 사용했음에도 불구하고, 제한된 RAM 환경(128GB)에서도 추론이 가능합니다.
• 모델의 성능 최적화를 위해 라우팅된 전문가와 공유 전문가에 다른 양자화 수준(2bit vs Q8)을 적용했습니다.
• 최적화 결과, MacBook M3 Max에서 초당 21 토큰(t/s)으로 추론 속도가 향상되었습니다.