1백만 컨텍스트에서 5090 GPU와 llama.cpp를 사용한 DeepSeek V4 Flash 성능 테스트

요약

본 기사는 llama.cpp를 활용하여 DeepSeek V4 Flash 모델을 1백만 컨텍스트 크기에서 테스트한 결과를 공유합니다. 다양한 최적화 설정을 적용했음에도 불구하고, 프리필은 650~700 토큰/초, 디코드는 17 토큰/초의 성능이 측정되었습니다. 전반적인 속도는 아직 Qwen 모델에 비해 부족하지만, llama.cpp를 통해 추가적인 최적화 가능성이 남아있음을 시사합니다.

핵심 포인트

• DeepSeek V4 Flash를 1M 컨텍스트에서 테스트함.
• llama.cpp와 GPU(5090)를 사용한 성능 측정 결과 공유.
• 프리필은 약 650~700 토큰/초, 디코드는 17 토큰/초 기록.