https://huggingface.co/XiaomiMiMo/MiMo-V2.5-DFlash Xiaomi가 MiMo-V2.5-DFlash를 Hugging Face에 조용히 업로드한 것 같습니다: Dflash 모델이 포함된 전용 dflash 디렉토리가 있습니다. 누군가 GGUF로 변환해서 시도해 볼 의향이 있나요? 저도 해보고 싶지만 오늘은 할 수 없습니다. 이 모델은 제 생각에 꽤 좋습니다 (300B + 파라미터) 그리고 2x24GB 카드와 vram 오프로드를 사용하면 약 8-10 tk/s로 실행되며, dflash는 그 속도를 두 배로 높여 매우 흥미로울 수 있습니다. 수정: 이것이 흥미로운 주된 이유는 MTP 헤드가 이미 공유되었지만, llama cpp에서는 아직 작동하지 않기 때문입니다. 저는 Dflash가 대신 작동할 것이라고 추측합니다. 수정 2: 정말 멋지네요! 그들은 별도의 MTP 모델도 공유했습니다. Llama에서 이미 작동하지 않는 이유는 MTP 레이어를 식별하는 데 문제가 있기 때문일 수 있습니다. 별도의 MTP 모델도 작동할 수 있을 것입니다. /u/nasone32가 제출함 [링크] [댓글]