Qwen3.5 122B-A10B · ROCmFP4 iMatrix
요약
Qwen3.5 모델을 AMD ROCm 환경에서 최적화한 iMatrix를 소개합니다. 이 기술은 122B 파라미터 중 활성 파라미터를 10B로 줄여 메모리 사용량을 크게 절감했습니다. 이를 통해 디코딩 속도를 높이고 효율성을 개선하는 데 초점을 맞추고 있습니다.
핵심 포인트
- Qwen3.5 모델을 AMD ROCm 환경에 최적화함.
- 활성 파라미터를 10B로 줄여 메모리 사용량을 절감함.
- 디코딩 속도를 향상시키고 효율성을 개선하는 기술임.
Hola Strix와 AMD 스태커 친구들. Lineage와 Credits를 읽어보세요. 이것은 charlie12345/ROCmFPX를 사용하며, 아직 네이티브 llama.cpp에서는 작동하지 않습니다. 총 122B · 활성 10B · 60.70 GiB · 28.50 tok/s MTP-off · BF16 KLD 0.041366 · 디코드 28.505 디코드 속도 + 36.89% 더 빠름 크기 - 13.47gb 작아짐 /u/RedParaglider 제출 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0