단일 M3 Ultra에서 MLX를 사용한 DeepSeek V4 Flash Q4-Q8 벤치마크 테스트 진행 중

요약

M3 Ultra 단일 칩 환경에서 MLX 프레임워크를 활용해 DeepSeek V4 Flash 모델의 양자화 성능을 테스트하고 있습니다. 전문가 라우팅 방식에 따라 Q4와 Q8를 혼합 적용하는 커스텀 양자화 기법을 사용합니다.

핵심 포인트

• M3 Ultra 환경에서 MLX 기반 DeepSeek V4 Flash 벤치마크 수행
• 라우팅된 전문가와 나머지 파라미터에 서로 다른 양자화 적용
• Q4-imatrix 방식이 기존 방식보다 우수한 성능을 보임
• RDMA를 활용한 두 대의 M3 Ultra 분산 테스트 예정