Qwen 3.8 Flash Next에 전체 n-gram 테이블을 적용하는 것에 대한 논의

이미 여기 https://www.reddit.com/r/LocalLLaMA/comments/1x85hfj/strata_qwen_38_flash_next_fast_but_whats_it/phavui9/ 에 게시했지만, 이 주제는 별도의 게시물이 필요하다고 생각합니다. PLE(n-gram 테이블)는 SSD에 위치하며 일반적인 GGUF에서 크게 양자화되어 있고, /u/MarkoMarjamaa 가 여기 https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/qwen38_flash_next_unsloth_quants_kldtop1_with/ 에서 보여주었듯이 성능에 측정 가능한 영향을 미칩니다. 댓글을 더 아래로 내려가면, /u/Eyelbee 가 전체 bf16 n-gram 테이블을 실행하는 것에 대해 언급합니다. 저는 Grok에게 물어봤고, 그것이 llama.cpp 등에서만 작동하며 bf16 sidecar라고 불린다는 것을 알게 되었습니다. Strata는 FP8이 필요하지만, 그것은 거의 전체 품질에 가까워야 하며, 솔직히 저에게는 너무 어려운 문제입니다. 그래서 저는 ple_fp8_pack.py를 사용하여 직접 구축했고, 실제로 결과에 긍정적인 영향을 미치는 것 같습니다. iq3_s로 실행했는데, 변경 전에는 모델이 훨씬 더 많은 바보 같은 실수를 했습니다. 속도에는 영향이 없습니다! 디스크 공간만 조금 더 필요합니다. 이것을 시도하고 싶다면, https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8/tree/main 에서 model-00005부터 model-00037.safetensors와 model.safetensors.index.json이 필요하며, 이를 tools/ple_fp8_pack.py --model /media/your_ssd/Strata-data/download_folder --out /media/your_ssd/Strata-data/ple/ple-fp8.gguf 를 사용하여 GGUF로 패킹한 다음, strata-xxx.json에 "--ple-gguf", "/media/your_ssd/Strata-data/ple/ple-fp8.gguf" 로 로드해야 합니다. 물론 파일 경로는 조정하세요. 47기가를 업로드할 수 없어서 죄송합니다. :-) 아마도 누군가 이미 업로드했을 수도 있지만 저는 찾을 수 없었습니다. 성능을 제대로 테스트하는 방법은 모르겠지만, 같은 바보 같은 프롬프트를 사용한 두 가지 장면이 여기 있습니다. HTML로 미래의 사이버펑크 도시를 가로지르는 기차의 아름다운 3D 장면을 만드세요. 디스토피아적인 분위기, 상세한 모델, 모델에 너무 많은 상자를 사용하지 않도록 노력하세요. 창의성을 발휘하여 카메라 및 날씨 제어와 같은 사용자 인터랙티비티를 추가해 보세요.

IQ3_S에 포함된 PLE(quantized to IQ4_NL) https://output.jsbin.com/fojexecanu/ IQ3_S에 Qwen의 전체 FP8 PLE를 적용한 경우 https://output.jsbin.com/hosusuponi/ 눈에 띄는 명확한 개선이 보입니다. Hermes agent로도 확인했으며, KDE 앱(haruna)에 여러 기능을 추가할 수 있었습니다. 3D 모델은 누락된 얼굴 같은 오류가 적어 보였습니다. 제출자: /u/sillynoobhorse [링크] [댓글]