Qwen3.5 122B-A10B · ROCmFP4 iMatrix

요약

Qwen3.5 모델을 AMD ROCm 환경에서 최적화한 iMatrix를 소개합니다. 이 기술은 122B 파라미터 중 활성 파라미터를 10B로 줄여 메모리 사용량을 크게 절감했습니다. 이를 통해 디코딩 속도를 높이고 효율성을 개선하는 데 초점을 맞추고 있습니다.

핵심 포인트

• Qwen3.5 모델을 AMD ROCm 환경에 최적화함.
• 활성 파라미터를 10B로 줄여 메모리 사용량을 절감함.
• 디코딩 속도를 향상시키고 효율성을 개선하는 기술임.