Prince Canuma, Google의 DiffusionGemma와 Cohere North Mini Code를 당일 Mac 로컬 MLX에
요약
Google의 DiffusionGemma와 Cohere의 North Mini Code 모델이 Mac 로컬 환경인 MLX에 즉시 지원됩니다. mlx-vlm v0.6.3 업데이트를 통해 양자화된 모델을 로컬에서 효율적으로 실행할 수 있습니다.
핵심 포인트
- DiffusionGemma의 MLX 지원 및 mlx-vlm v0.6.3 출시
- DiffusionGemma는 26B MoE 모델로 양자화 시 18GB 메모리에서 실행 가능
- North Mini Code 30B MoE 모델의 빠른 추론 속도 지원
- Google DeepMind 및 Cohere와의 협업을 통한 Day-0 지원
Prince Canuma가 Google에서 갓 출시한 DiffusionGemma와 Cohere North Mini Code를 당일 Mac 로컬 MLX에 바로 집어넣었습니다. 대기 시간 없이 즉시 즐겨보세요!
mlx-vlm v0.6.3이 막 출시되었으며, 이 새로운 DiffusionGemma 아키텍처는 양방향 어텐션 (bidirectional attention) + 반복적 자기 수정 (iterative self-correction)을 통해 256 토큰 블록 전체를 한 번에 생성합니다. 26B MoE (Mixture of Experts) 모델은 3.8B만 활성화하며, 양자화 (quantization) 후에는 단 18GB에서 실행됩니다.
North Mini Code 30B MoE 역시 3B만 활성화하며, BF16 환경에서 초당 66 토큰 (66 tok/s)부터 시작합니다.
Google DeepMind 및 Cohere와의 긴밀한 협업 덕분에 가능한 Day-0 지원입니다!
지금 바로 경험해 볼 수 있도록 원클릭 설치를 지원합니다~
링크:
https://huggingface.co/collections/mlx-community/diffusiongemma
…
지난해 라이브 스트리밍 중에 했던 말이 기억나네요: 현재 𝕏 플랫폼은 모든 플랫폼 중에서 가장 잠재력이 크고 계정 성장 속도가 가장 빠른 플랫폼입니다.
제 제안은, 먼저 한 플랫폼에서 화제성과 결과물을 만들어내면, 그것이 더 쉽게...
AI 자동 생성 콘텐츠
본 콘텐츠는 X @berryxia (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기