요약

3070 8GB GPU 환경에서 Qwen3.6-35B-A3B 모델을 실행한 경험 공유입니다. 직관적으로 생각하기엔 작은 압축(Q4_XS)을 써야 할 것 같지만, 실제로는 더 큰 양자화(Q4_K_XL, Q5_K_S)를 사용하면 오히려 속도가 빨라질 수 있습니다. MoE 구조의 모델은 메모리 대역폭과 연산 효율이 중요하므로, 기대치보다 높은 압축률을 적용해 성능을 테스트해보는 것이 좋습니다.

핵심 포인트

• 3070 8GB + 64GB DDR4 환경에서 Qwen3.6-35B-A3B-UD-IQ4_XS(~18GB) 는 최적화 시 25~30 토큰/초 속도
• 더 큰 양자화를 사용한 Q4_K_XL(~23GB) 모델이 128k 컨텍스트에서 32 토큰/초로 더 빠른 성능을 보임
• 품질과 속도의 균형을 위해 Q5_K_S 를 사용하면 약 30 토큰/초를 유지하며 128k 컨텍스트에서도 안정적
• MoE 모델의 경우 예상보다 큰 양자화 (bigger quants) 를 시도하는 것이 성능 향상에 도움이 될 수 있음