Uploaded Unsloth Qwen3.6-35B-A3B UD XL models with MTP grafted, here are the

요약

본 기술 기사는 Unsloth가 Qwen3.6-35B-A3B UD XL 모델에 MTP(Memory-Targeted Parallelism) 레이어를 접목한 결과를 공유합니다. 테스트 결과, 특히 5090 FE와 같은 하드웨어 환경에서 MTP를 적용했을 때 상당한 추론 속도 향상(t/s 증가)이 관찰되었습니다. Q4 및 Q8 양쪽 모두에서 성능 개선이 확인되었으며, 이는 모델 아키텍처와 lamba.cpp의 MTP 구현 간의 상호작용에 기인할 수 있습니다.

핵심 포인트

• Qwen3.6-35B-A3B UD XL 모델을 기반으로 MTP(Memory-Targeted Parallelism) 레이어가 적용된 버전이 공개되었습니다.
• MTP를 적용했을 때, 특히 5090 FE와 같은 고성능 하드웨어에서 추론 속도(t/s)가 눈에 띄게 향상되는 것이 확인되었습니다 (예: Q4 기준 약 215 t/s $\rightarrow$ 228.83 t/s).
• 이러한 성능 향상은 모델의 양자화 수준(Q4, Q8)과 하드웨어 구성에 따라 다르게 나타날 수 있습니다.
• 전반적인 속도 개선은 lamba.cpp의 MTP 구현과 Qwen35MoE 아키텍처 간의 시너지 효과일 가능성이 제기됩니다.