๐จ Qwen3.6 ์๋ฆฌ์ฆ๋ฅผ ์ํ ๋งค์ฐ ๊ฐ๋ ฅํ ํฌ๋์ด ์ถ์๋์์ต๋๋ค!
์์ฝ
dealignai๊ฐ Qwen3.6-27B ๋ฐ 35B ๋ชจ๋ธ์ MXFP4 ๋ฐ MXFP8 ํ์์ผ๋ก ์ต์ ํํ์ฌ Hugging Face์ ๊ณต๊ฐํ์ต๋๋ค. MTP(Multi-Token Prediction) ๊ธฐ์ ์ ์ ์ฉํ์ฌ ์๋ ํฅ์๊ณผ ํจ์จ์ ์ธ ์์ํ๋ฅผ ๊ตฌํํ์ต๋๋ค.
ํต์ฌ ํฌ์ธํธ
- MXFP4 ๋ฐ MXFP8 ์์ํ๋ฅผ ํตํ ์ฑ๋ฅ ์ต์ ํ
- MTP ๊ธฐ์ ์ ์ฉ์ผ๋ก ์คํ ์๋ ๋ํญ ํฅ์
- ๋ฎ์ VRAM ํ๊ฒฝ์์๋ ํจ์จ์ ์ธ ๋ชจ๋ธ ๊ตฌ๋ ๊ฐ๋ฅ
- ๊ฒ์ด์ด ์ํ๋(uncensored) ๋์ ํน์ฑ ์ ๊ณต
๐จ Qwen3.6 ์๋ฆฌ์ฆ๋ฅผ ์ํ ๋งค์ฐ ๊ฐ๋ ฅํ ํฌ๋์ด ์ถ์๋์์ต๋๋ค!
@dealignai๊ฐ Qwen3.6-27B ๋ฐ 35B ๋ชจ๋ธ์ MXFP4 & MXFP8 ๋ฒ์ ์ MTP (Multi-Token Prediction)๋ฅผ ํตํด ์ต์ ํํ์ฌ Hugging Face์ ์ ๋ก๋ํ์ต๋๋ค.
ํนํ ์ฃผ๋ชฉํ ๋งํ ์ :
- ์๋นํ ์์ค์ ์๋ ํฅ์
- ๋ ๋ ์ ํ์ ์ธ (uncensored) ๋์
- ๋ ํจ์จ์ ์ธ ์์ํ (Quantization) ๋๋ถ์ ๋ฎ์ VRAM์์๋ ๋์ ์ฑ๋ฅ ๋ฐํ
๋ก์ปฌ ํ๊ฒฝ์์ ๊ณ ์์ผ๋ก Qwen3.6์ ์คํํ๊ณ ์ ํ๋ ๋ถ๋ค์๊ฒ ๋งค์ฐ ๋งค๋ ฅ์ ์ธ ๋ฐ์ ์ ๋๋ค.
๐ ๋ชจ๋ธ:
โข 35B MXFP4 โ https://t.co/FanwVfwK2P
โข 35B MXFP8 โ https://t.co/j6PWkhzING
โข 27B ๋ฒ์ https://t.co/oMNrVceOEb
์ด๊ฒ์ ๋ณ๋์ 27B ๋ฒ์ ์
๋๋ค.
AI ์๋ ์์ฑ ์ฝํ ์ธ
๋ณธ ์ฝํ ์ธ ๋ X @DeepTechTR (AI/์คํ์์ค)์ ์๋ฌธ์ AI๊ฐ ์๋์ผ๋ก ์์ฝยท๋ฒ์ญยท๋ถ์ํ ๊ฒ์ ๋๋ค. ์ ์ ์๊ถ์ ์์ ์์์๊ฒ ์์ผ๋ฉฐ, ์ ํํ ๋ด์ฉ์ ๋ฐ๋์ ์๋ฌธ์ ํ์ธํด ์ฃผ์ธ์.
์๋ฌธ ๋ฐ๋ก๊ฐ๊ธฐ