M6 Mac Mini 사용자 (32GB): 이제 Apple Neural Engine에서 고품질로 Qwen3.8-27B를 실행할 수 있습니다

원문 발행 2026. 10. 25. 06:05원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

M6 Mac Mini 사용자가 ANEMLL Forge 0.2.1을 통해 Qwen3.8-27B 모델을 Apple Neural Engine에서 고품질로 구동할 수 있게 되었습니다. INT8 K/V cache와 최적화된 아키텍처를 적용하여 메모리 효율성을 높였으며, 최대 192K 컨텍스트까지 지원하는 성능이 입증되었습니다.

핵심 포인트

M6 Mac Mini에서 Qwen3.8-27B 모델 구동 가능
INT8 K/V cache 적용으로 메모리 절감 및 속도 유지
최대 192K 컨텍스트까지 지원하며, 콘텐츠별 성능 제시
전체 192K 컴파일은 시간이 소요되나, 짧은 컨텍스트는 빠르게 실행 가능

ANEMLL Forge 0.2.1: M6 Neural Engine에서 Qwen3.8-27B가 최대 192K 컨텍스트(M6 32GB)까지 구동됩니다. 새로운 기능으로 INT8 K/V cache (FP16의 절반 크기)와 타겟의 출력 헤드를 공유하는 더 작은 drafter를 사용하게 되어 ANE 메모리가 0.86 GB 감소했으며 속도는 동일합니다. 디코딩 속도는 콘텐츠에 따라 달라집니다: JSON은 35–62 tok/s, 코드는 18–32 tok/s, 산문(prose)은 10–17 tok/s입니다. 짧은 컨텍스트에서는 Prefill이 260 tok/s, 192K 컨텍스트에서는 62 tok/s로 작동합니다. 128K–192K는 메모리 예산 내에 머무르기 위해 더 작은 prefill batch(32개 대 64개 행)를 사용합니다. 참고: 전체 192K의 첫 컴파일에는 M6에서 약 2시간이 소요됩니다 (일회성, 캐싱됨). --ctx는 필요한 항목만 내보내므로 컴파일 속도가 훨씬 빠릅니다: 16K는 다운로드부터 서버 실행까지 약 10분입니다. 제 생각에 32GB 환경에서는 크기/속도 면에서 96K가 가장 적절합니다: Prefill 123 tok/s, 디코딩 약 27 tok/s, 총 메모리 약 21.4 GB를 사용합니다.

릴리스 노트: https://github.com/Anemll/anemll-forge/blob/main/docs/RELEASE_NOTES_v0.2.1.md
비디오 (압축 없이 약 150K 토큰에 걸쳐 생성된 Tetris): https://x.com/anemll/status/2111941341819408866
논문: Apple Neural Engine에서의 Three Bit MLP Vector Quantization — https://github.com/Anemll/anemll-forge/blob/main/docs/papers/anemll-forge-v02.pdf
감사합니다, Anemll 🤖 /u/Competitive-Bake4602가 제출함 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기