업데이트: Dense 모델을 Mixture-of-Experts로 변환

이것은 제가 이전에 올린 게시물(여기에서 찾을 수 있음: https://www.reddit.com/r/LocalLLaMA/s/n7sgRZZc4z)에 대한 업데이트입니다. 지난 게시물 이후에도 저는 변환 프로세스와 새로운 모델의 변환 작업을 계속해 왔습니다. 제가 가장 최근에 작업한 모델은 Qwen2.5-1.5B-MoE-A0.9B입니다. 또한 0.5B 및 1.5B 모델 모두에 대한 GGUF 버전을 출시했으며, 여기 bayliner1980/Qwen2.5-0.5B-MoE-A0.3B-GGUF와 여기 bayliner1980/Qwen2.5-1.5B-MoE-A0.9B-GGUF에서 찾을 수 있습니다.

평가 - Dense MoE WikiText-2 테스트 perplexity (1024 토큰 윈도우): 10.41, 14.63 (+41%) C4 validation perplexity (64 × 1024 토큰): 15.76, 22.88 (+45%)
Zero-shot 작업, 평균 acc_norm: 0.565, 0.462

Perplexity가 약 40% 높고, 벤치마크에서 가장 많이 하락한 부분은 ARC입니다.

lama-bench, Q4_K_M 모두에 대해 RTX 4060 8 GB / Ryzen 5 7500F -

GPU에서도 Dense 모델보다 확실히 빠른 첫 번째 변환입니다. 0.5B는 거기서 단지 6%만 얻었습니다.

솔직한 주의사항: 이 크기에서는 품질이 Qwen2.5-0.5B와 비슷한 수준이며, 심지어 더 빠릅니다. 따라서 이번 릴리스는 개념 증명(proof of concept)에 가깝습니다. 이 접근 방식은 MLP가 컴퓨팅에서 더 큰 비중을 차지하는 대규모 모델에서 더 효과를 발휘해야 합니다.

GGUF 파일이 Dense 모델보다 크다 (Q4_K_M 기준 1.1 GB vs 0.9 GB)는 것은 llama.cpp의 MoE 아키텍처가 untied output head를 필요로 하기 때문입니다.

지원: 제 자료가 흥미롭다면 Ko-fi에서 후원해 주시면 감사하겠습니다.

제출자: /u/Bayliner1980 [링크] [댓글]