Intel Arc Pro B70 (32GB) Dense 모델과 MoE 모델의 차이가 예상보다 훨씬 큽니다

요약

Intel Arc Pro B70(32GB) 환경에서 Dense 모델과 MoE 모델의 추론 성능 차이를 비교 분석했습니다. MoE 모델이 Dense 모델보다 훨씬 빠른 프롬프트 처리 및 생성 속도를 보여주었으며, Vulkan 백엔드가 SYCL보다 성능 면에서 우수함을 확인했습니다.

핵심 포인트

• Intel Arc Pro B70에서 MoE 모델이 Dense 모델 대비 압도적인 추론 속도 기록
• Qwen3.6-35B-A3B(MoE)가 Qwen3.6-27B(Dense)보다 약 4배 빠른 성능 발휘
• Vulkan 백엔드가 SYCL 백엔드보다 약 40% 더 빠른 성능을 보임
• 32GB VRAM 확보를 통한 MoE 모델 실행의 경제적 이점 강조