Apple M5 Max에서 Swift-1.5-Qwen3.8-27b-oQ8e-mtp 성능 테스트 결과 (34.8 tok/s)

오늘 llm-bench.io에서 Swift-1.5-Qwen3.8-27b-oQ8e-mtp를 몇 번 실행해 보았습니다: M5 Max 64 GB의 oMLX 환경에서 xhigh로 생각하며, 262k 컨텍스트 창을 사용했습니다. Swift 1.5와 기본 Qwen3.8 27B 간의 가장 큰 차이점은 생성하는 양입니다. 전체 실행(에이전트 워크플로우, 코드 생성, 리서치, 역할극) 기준으로 Swift는 평균 51k 토큰을 생성하고 Qwen3.8은 평균 77k를 생성합니다.

전체 벤치마크 실행 시간: Swift 1.5의 경우 평균 24분, 기본 Qwen 3.8 27B의 경우 평균 38분입니다. 그 외 모든 것은 비슷합니다: 생성 속도(generation speed): 34.6 vs 32.8 tok/s, 프롬프트 처리 속도(prompt processing): 둘 다 약 400 tok/s, 품질 점수 (사이트의 LLM judge): 85.8 vs 85.0. 제 네 번의 실행 결과는 84.3에서 87.2 사이로, llm judge가 예상하는 분산 범위 내에 있습니다. 저는 이것을 동률이라고 부르겠습니다. 여전히 Swift가 생성하는 양의 3/4은 추론(reasoning)이지만, Qwen 3.8 27B보다는 적습니다. 출력물은 여전히 매우 사용 가능합니다. 며칠 동안 저의 일일 드라이버로 써보려고 확실히 시도해 볼 것입니다.

Swift 1.5 실행 결과: https://llm-bench.io/benchmarks/cmumgubnk004o01o00kqgaqcv https://llm-bench.io/benchmarks/cmumilzxq004v01o0husl2vcx https://llm-bench.io/benchmarks/cmumjhwz6005201o0w2irsf21 https://llm-bench.io/benchmarks/cmumkfc4x005901o0nt9a726k
Qwen 3.8 27B 실행 결과: https://llm-bench.io/benchmarks/cmttoyt4q002d01mw7kkfr8f9 https://llm-bench.io/benchmarks/cmua4weeo003401lne2ezs0de https://llm-bench.io/benchmarks/cmuiwt4wt004k01syedfyu7ne
제출자: /u/DerTomsn [링크] [댓글]