llama.cpp: Hy3 PR + GGUFs
요약
llama.cpp에 Hy3 모델 지원을 위한 PR이 반영되었으며, GGUF 포맷 모델이 출시되었습니다. 사용자는 고사양 하드웨어 환경에서 안정적인 추론 속도를 확인했습니다.
핵심 포인트
- llama.cpp에 Hy3 모델 지원 PR 반영
- Hy3 모델의 GGUF 포맷 배포 완료
- 특정 하드웨어 환경에서 약 10-11t/s의 추론 속도 확인
모델이 어제 막 출시된 초기 단계이지만, 이미 작동하는 것으로 보입니다. 야호!
5090 + Zen 4 w/ 96GB DDR5 환경에서 Q2_K로부터 약 10-11t/s의 속도로 일관된 출력을 얻고 있습니다.
https://github.com/ggml-org/llama.cpp/pull/25395
https://huggingface.co/satgeze/Hy3-1M-GGUF
PR 작성자인 satindergrewal에게 감사드립니다!
submitted by /u/rerri
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0