Apple Silicon에서 실행되는 Command A+ (218B MoE) — MLX 포트, PR 오픈

요약

Cohere의 218B MoE 모델인 Command A+를 Apple Silicon에서 실행할 수 있도록 mlx-lm용 구현을 개발했습니다. Sigmoid 라우팅과 슬라이딩 윈도우 등 모델의 독특한 아키텍처를 반영하며, MLX 프레임워크를 통한 로컬 실행 최적화를 목표로 합니다.

핵심 포인트

• Command A+ (218B MoE) 모델의 MLX 포트 구현 및 PR 오픈
• Sigmoid 라우팅 및 인터리브된 RoPE 등 특수 아키텍처 적용
• W4A4 양자화 시 발생하는 편향(biases) 문제 해결 및 sanitize 함수 포함
• M3 Max 환경에서의 성능 검증 및 대용량 메모리 요구사항 확인