Apple ML Research: Mac Studio에서 MLX로 Muse Spark Open 실행하기
요약
본 글은 Apple의 M3/M5 Ultra Mac Studio와 MLX 프레임워크를 활용하여 대규모 언어 모델(LLM)을 로컬에서 구동하는 방법을 다루고 있습니다. 특히 Muse Spark Open과 같은 모델을 여러 대의 Mac 클러스터에 분산 배치하여 높은 추론 성능을 구현할 수 있음을 보여줍니다. 다만, 글쓴이는 이러한 시도가 현재로서는 가격적 부담과 실용성 측면에서 제한적이며, Apple이 자체 하드웨어 판매에 집중하는 전략적 가치에 초점을 맞추고 있다고 분석합니다.
핵심 포인트
- Apple은 LLM 시장에서 최고의 하드웨어 판매에 집중하는 전략을 취하고 있습니다.
- MLX와 Mac Studio 클러스터를 이용해 대규모 모델의 로컬 추론이 가능함을 보여줍니다.
- 현재로서는 고성능 Mac Studio 클러스터 구축 비용과 실용성이 높지 않습니다.
Meta가 가중치 공개 모델 개발에 수백만~수십억 달러를 쓰면, 사람들은 그 모델을 돌리려고 Apple에 2만 달러를 내게 됨. Apple에는 꽤 좋은 거래로 보임.
Apple이 굳이 모델을 학습하거나 개발할 이유가 있을까? 이미 골드러시에서 곡괭이를 파는 역할을 하고 있음.
로컬 LLM 시장이 얼마나 클까? 대당 2만 달러짜리를 충분히 팔아서 Apple의 사업 부문으로 의미가 생길지 상상하기 어려움.
빅테크 중 가장 좋은 전략임. 불확실한 상위 계층은 다른 회사가 해결하게 두고, 자신들은 최고의 하드웨어 판매에 집중함. 개인정보 보호는 많은 개인과 업계에 엄청난 가치가 있음.
구매하는 순간 가치가 오르는 2만~8만 달러짜리 하드웨어는 많은 중소기업에 합리적인 투자이며, Nvidia 장비 한 대보다도 저렴함. 개인정보 보호가 돈이 됨.
같은 모델을 돌리려면 16GB 5080을 몇 장 사야 하고, 비용은 얼마나 들까?
두 회사 모두 흑자를 내고 있고 AI가 주력 사업도 아님. 타격을 받는 쪽은 AI 전문 기업임.
가중치 공개 모델이 계속 최첨단 모델을 따라잡을수록 가격이 0달러로 향하는 경쟁은 이를 로컬에서 실행하려는 쪽에 계속 이득이 됨.
“최대 소비전력은 M3 Ultra Mac Studio가 약 200W, M5 Ultra Mac Studio가 300W로, 일반적인 토스터 소비전력의 일부에 불과함”이라는 대목이 눈에 띔.
토스터도 몇 시간씩 계속 켜 두는 물건인 양 비교하고 있음.
Meta 모델은 4비트, Qwen은 원래의 BF16만으로 벤치마크한 건 Qwen에 상당히 불리한 비교라고 봄. 대부분의 사용자가 선택할 정밀도도 아니며, 다른 설정 결과는 보여주지도 않음.
Apple의 협력사 Meta를 함께 홍보하려는 건 이해하지만, 내게 512GB M5나 그 클러스터가 있다면 Muse Spark는 고려할 모델 상위 10개에도 들지 않음.
256GiB M5 Ultra 한 대에서도 DeepSeek 4.1 Flash 0910이 잘 돌아감. 프리필은 약 3,200토큰/초, 생성은 약 45토큰/초임. 128GiB M5 Max에서도 GLM 5.3 Flash가 무리 없이 실행됨.
두 모델 모두 MathArena Apex, GPQA Diamond 등의 품질 벤치마크도 직접 돌려 공식 수치 수준의 품질이 나오는지 확인했음.
공개된 Muse 모델을 의사결정 모델처럼 작동하도록 개조한 사람이 있을까? Laya와 비슷하되 Muse Spark를 기반으로 한 것을 찾고 있음.
보통의 책상 위 환경이라고 하기는 어렵지만 멋지기는 함.
글에서는 오늘 출시한 MLX로 매개변수가 거의 1조 개인 Muse Spark Open을 책상에서 실행하는 방법을 소개함. Mac Studio 4대 클러스터에서 초당 36토큰 이상을 생성해 평균적인 사람의 읽기 속도를 넘는다고 함. 최대 512GB 통합 메모리를 갖춘 한 대에서 시작해 Thunderbolt 기반 RDMA 드라이버로 여러 Mac까지 확장하는 구성을 다룸.
이런 시도는 반갑지만 2026년 현재로서는 실용성이 제한적임. 512GB Mac Studio 가격은 아직 발표되지 않았고, 256GB 모델도 9,499달러부터 시작하니 네 대면 상당한 금액임.
OpenRouter로 Muse Spark Open을 쓰면서 4만 달러를 소진하려면 몇 년이 걸리는지는 누군가 계산해 줄 듯함.
Meta 기술을 다룬 보도자료 전체에서 코드에 들어간 부분 말고는 Meta를 언급하지 않은 것이 우스움.
보도자료도 아니고 Meta 기술에 관한 글도 아님. 제목인 “Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio”에는 Muse조차 등장하지 않음.
오히려 Apple 자체 기술을 홍보하는 기사에 가까움.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기