DeepSeek V4 Flash 0731 - Happy Numbers (700pp/18tg) 및 고찰

요약

DeepSeek-V4-Flash 모델을 llama.cpp 환경에서 최적화하여 구동한 성능 테스트 결과입니다. 특정 설정(--cpu-moe)을 통해 높은 처리 속도를 달성했으나, FP8 캐시 미지원 및 배치 크기 제한 등의 기술적 한계와 하드웨어 구성 방안을 다룹니다.

핵심 포인트

• --cpu-moe 설정을 통해 700pp/s 및 18tg/s의 높은 성능 달성
• llama.cpp의 DeepSeek-V4 Flash 네이티브 FP8 캐시 미지원 확인
• 배치 크기 증가 시 --cpu-moe 사용 시 실행 중단 문제 발생
• 고성능 추론 시스템 구축을 위한 가성비 하드웨어(Epyc, DDR4 ECC) 제안