최신 프로젝트 공유: strata-mlx

요약

개발자가 125B 파라미터의 Mixture-of-Experts 모델인 Qwen3.8-Flash-Next를 Mac 환경에서 구동하기 위해 비공식 MLX 엔진 'strata-mlx'를 개발했습니다. 이 엔진은 GGUF 파일을 직접 읽으며, 메모리 용량에 관계없이 SSD에서 필요한 전문가(experts) 가중치를 불러와 작은 Mac에서도 대형 모델을 실행할 수 있게 합니다.

핵심 포인트

• strata-mlx는 비공식 MLX 엔진으로, GGUF 파일을 직접 읽어 사용합니다.
• 메모리가 부족한 Mac 환경에서도 SSD 접근을 통해 대용량 LLM 구동이 가능합니다.
• Mac의 RAM 용량에 따라 모델 추론 속도가 달라지며, 작은 기기에서도 실행 테스트가 진행되었습니다.