최신 릴리스에서 사용 가능합니다. 다음을 통해 활성화할 수 있습니다:
--spec-type draft-eagle3
드래프트 모델 (draft model)을 입력해야 합니다. 현재 unsloth + eagle 조합에 문제가 있어, 저는 개인적으로 다음 모델들로 테스트했습니다:
모델: https://huggingface.co/lmstudio-community/Qwen3.6-27B-GGUF
드래프트: https://huggingface.co/wimmmm/Ex0bit-Qwen3.6-27B-PRISM-EAGLE3-GGUF
-md 또는 --model-draft 옵션으로 드래프트 모델을 지정하세요.
성능 측면에서는 현재 draft-mtp와 매우 유사한 tps (초당 토큰 수)를 얻고 있습니다. 또한 텐서 병렬화 (tensor parallelism)가 현재 지원되지 않아 어설션 (assert) 오류가 발생하며, 이는 제가 매우 자주 의존하는 기능입니다. 드래프트 모델은 VRAM도 약간 점유하므로, 자원이 매우 제한적인 환경에서는 최선의 선택이 아닐 수 있습니다. 시간이 지나면서 이 기능이 어떻게 발전할지 기대됩니다!
여러 유형의 투기적 디코딩 (speculative decoding)을 중첩해서 사용할 수 있다는 점도 잊지 마세요:
--spec-type draft-eagle3,ngram-mod
제출자: /u/Legitimate-Dog5690
[link] [comments]