Mistral medium 3.5 128B, MLX 4bit, ~70 GB

요약

Mistral medium 3.5 128B 모델을 MLX 4bit 형식으로 변환한 기술 기사입니다. 이 버전은 시각 인코더 포함, 사고 모드(reasoning_effort="high"를 통한 [THINK]...[/THINK] 체인 제공), 도구 호출 기능, 그리고 256K 컨텍스트 창을 지원합니다. 다만, 현재 모델 자체에 문제가 있어 다운로드 및 사용은 권장되지 않으며, 성능 테스트 시 M2 Max에서 약 5 tok/s의 속도를 보였습니다.

핵심 포인트

• Mistral medium 3.5 128B를 MLX 4bit 형식으로 변환하여 최적화했습니다.
• 이 모델은 시각 인코더, 도구 호출 기능, 그리고 256K의 대규모 컨텍스트 창을 지원합니다.
• 성능 테스트 결과, M2 Max 환경에서 초당 약 5 토큰(tok/s)의 추론 속도를 기록했습니다.
• 모델 변환 과정 중 발견된 버그를 수정했으며, 사용 시에는 특정 샘플링 파라미터 설정이 권장됩니다.