TurboFieldfare를 가지고 놀고 있었습니다. 이는 MoE (Mixture of Experts) 전문가들을 로드하는 대신 SSD에서 스트리밍하여 Gemma 4 26B를 약 2 GB 내에서 실행하는 Mac 엔진입니다. 이 엔진은 해당 모델 하나만 지원했기에, Qwen 3.6 35B-A3B에 대한 지원을 추가했습니다. 비교하자면, Qwen은 더 적은 메모리를 필요로 합니다. Gemma의 약 2.1 GB 대비 약 1.4 GB 수준입니다. Qwen의 전문가(experts)들은 크기가 절반이며, 40개의 레이어 중 30개가 선형 어텐션 (linear attention)을 사용합니다. 따라서 유지해야 할 KV 캐시 (KV cache)가 급격히 줄어듭니다. 제 M5에서의 속도는 프롬프트 길이에 따라 19–23 tok/s입니다. 동일한 기기에서 Gemma는 31–35 tok/s를 기록합니다. Qwen이 더 느린 이유는 18 GB의 전문가들이 OS 페이지 캐시 (OS page cache)에 들어가지 않아, 더 많은 읽기 작업이 실제로 SSD에 직접 부딪히기 때문입니다. 또한 머신의 워킹 셋 (working set)을 8 GB로 고정해 보았으나 차이가 없었습니다: 22.9 tok/s를 기록했으며, 어차피 디스크에서 스트리밍하고 있기 때문에 예상대로 바이트 단위로 동일한 (byte-identical) 출력이 나왔습니다. 업스트림에 PR (Pull Request)이 열려 있습니다: drumih/turbo-fieldfare#29 직접 빌드하고 싶다면 다음 브랜치를 사용하세요: NeelM0906/turbo-fieldfare@qwen36-support 참고 사항: 텍스트 전용이며, 4K 컨텍스트 (context)에서 테스트되었습니다. 약 20 GB의 디스크 공간이 필요하며, 저의 8 GB 테스트는 실제 8 GB Mac이 아니라 시뮬레이션된 메모리 압박 (memory pressure) 상황이었습니다.