안녕하세요 여러분, 저는 open-source 프로젝트인 Kapitsa의 기여자 중 한 명인 Ye입니다. Kapitsa는 Apple Silicon에 최적화되어 Qwen, Nemotron, Flint 및 Clover 모델을 로컬에서 실행할 수 있는 Apple Silicon Inference engine입니다. 저희가 직접 작성한 Metal kernels 덕분에 각 칩과 각 모델에 맞춰 조정(tune)할 수 있습니다. https://github.com/nace-ai/kapitsa/ 최신 업데이트 버전인 0.2.26이 출시되었습니다. 지난 M5 Max 테스트 결과 이후, Flash-Next 180B는 프롬프트 읽기 속도가 46% 빨라졌고, 27B 모델은 쓰기 속도가 8% 빨라졌으며, DiffuSpace의 Clover 35B가 카탈로그에 추가되었습니다. Kapitsa는 또한 SSD 오프로딩(SSD offloading)을 통해 Qwen Flash-Next 180B를 실행할 수 있습니다. RAM 용량으로 모델 전체를 담지 못하는 Mac에서도, 메모리에 맞지 않는 전문가들(experts)이 SSD에서 스트리밍되어 작동하며, 48 GB MacBook Pro에서 초당 61 토큰(tok/s)으로 구동됩니다. 다음은 M5 Max와 128 GB가 장착된 2026 MacBook Pro에서의 시연입니다. 저희는 1K 컨텍스트부터 최대 32K까지 총 여섯 가지 모델을 동일한 Mac에서 각 모델에 대해 가장 빠른 엔진과 비교하여 실행했습니다. 사용해 보세요 (모든 Apple Silicon Mac 가능; 본 게시물의 모델: 35b, 27b, flash-next, bolt, flint, clover): brew install nace-ai/tap/kapitsa kapitsa serve --model 35b # localhost에서 OpenAI 및 Anthropic API 사용 kapitsa opencode --model 35b # 또는 claude, codex, pi kapitsa bench # 자체 Mac 벤치마킹 결과 https://preview.redd.it/0zmlaxm2x2zh1.png?width=2400&format=png&auto=webp&s=5f56c7445044fb825fa218b280e85d0307bc2d0b Decode는 512 토큰의 코딩 답변이며, 4K 프롬프트에 대한 Prefill을 수행한 후 3회 실행의 중앙값입니다: 모델 | Decode (tok/s) | Prefill (tok/s) | Qwen3.6 35B-A3B | 346 | 6,036 | Clover 35B-A3B | 304 | 5,981 | Flint 40B | 265 | 5,770 | Nemotron Bolt 74B | 154 | 1,075 | Qwen3.8 27B | 143 | 904 | Qwen Flash-Next 180B | 108 | 1,701<br><br>1K 컨텍스트부터 최대 32K까지. 32K에서는 35B가 여전히 175 tok/s를 기록하며 쓰기 속도를 유지하고, Flash-Next는 거의 하락하지 않습니다 (90에서 78로):<br>Prefill: 1K에서 32K 컨텍스트 | Decode: 1K에서 32K 컨텍스트<br><br>다른 친구들과 비교했을 때<br>동일한 Mac의 각 모델에 대해 가장 빠른 엔진과 비교했을 때:<br>35B는 Splash 대비 1.23배, Bolt는 oMLX 대비 2.2배, Flint은 rec 대비 1.18배, 27B는 mlx-serve 대비 1.12배입니다.
Flash-Next는 mlx-serve와 동률이며, Splash가 두 개의 Qwen에서 여전히 프롬프트를 더 빠르게 읽고, 다른 어떤 것도 Mac에서 Clover를 실행하지 못합니다.
다른 Mac 엔진들과의 디코드 비교(Decode against the other Mac engines) | 버전 및 플래그가 있는 모든 셀: 벤치마크(benchmarks). | 순수 실행 결과: 결과(results). | 빠른 이유: KFlash
다른 엔진들은 생성기(drafter)의 추측을 하나의 체인으로 확인하고 첫 번째 오류가 발생하면 멈춥니다. KFlash는 같은 패스에서 생성기의 최적 추측 트리(tree of the drafter's best guesses)를 확인하므로, 더 많은 토큰이 각 패스를 통과할 수 있습니다.
KFlash 작동 방식: 생성기의 체인 대 KFlash의 트리 | 거의 무료인 Apple GPU에서: GPU는 8개 행 타일(8-row tiles)로 작동하며, 토큰 하나를 처리하는 단계만으로 이미 8에 대한 비용을 지불합니다. 유지되는 모든 토큰은 거대 모델(big model)이 스스로 작성했을 내용이기 때문에 출력 자체는 변하지 않고 속도만 빨라집니다.
KFlash 작동 방식: splash, ollama, omlx, llama cpp 그리고 벤치마크를 보내준 모든 분들께 감사드립니다. 여러분의 Mac에서 동일한 테스트를 실행하고 커뮤니티 결과에 추가해 주세요. 소요 시간은 3~15분입니다:
brew install nace-ai/tap/kapitsa<br>brew install gh && gh auth login # 결과는 GitHub 풀 리퀘스트(pull request)로 전송됩니다.
kapitsa bench --submit # 모델을 선택하면, 무언가를 보내기 전에 질문합니다.
실행하는 동안 플러그인을 연결하고 무거운 앱은 닫아주세요. 마지막에 한 번 질문합니다: Enter를 누르면 결과가 GitHub 포크(fork)에서 풀 리퀘스트로 전송되며, n은 이를 Mac에 보관합니다. 전송되는 내용은 약 2KB입니다: 사용자의 Mac 모델, 칩, RAM, macOS 버전 및 숫자만 포함하며, 시리얼 번호, 사용자 이름 또는 경로는 없습니다 (정확히 무엇을 보낼지 확인하려면 --dry-run 추가). GitHub가 없나요? 여기에 출력된 숫자를 댓글로 붙여넣어 주세요.
참고로, 이것은 새로운 코드베이스이므로 때때로 이상한 프리필(prefill)/디코드(decode) 버그가 있을 수 있습니다. 제출자: /u/DotaMate [링크] [댓글]
