Ornith-1.5 DFlash
요약
Ornith-1.5 모델을 DFlash draft 모델과 결합하여 Speculative Decoding을 구현한 새로운 버전의 모델들이 공개되었습니다. 이 모델들은 각각 9B, 397B, 35B 등 다양한 파라미터 크기로 제공되며, 효율적인 추론 속도를 목표로 합니다.
핵심 포인트
- Ornith-1.5 모델에 DFlash draft를 결합하여 Speculative Decoding을 적용했습니다.
- 9B, 35B, 397B 등 다양한 크기의 모델 버전이 공개되었습니다.
- Speculative Decoding은 추론 속도 향상에 초점을 맞춘 기술입니다.
Ornith-1.5-9B-DFlash는 Ornith-1.5-9B 모델을 DFlash draft 모델과 결합하여 speculative decoding을 수행합니다.
https://huggingface.co/ornith-ai/Ornith-1.5-9B-DFlash
Ornith-1.5-397B-DFlash는 Ornith-1.5-397B 모델을 DFlash draft 모델과 결합하여 speculative decoding을 수행합니다.
https://huggingface.co/ornith-ai/Ornith-1.5-397B-DFlash
Ornith-1.5-35B-A3B-DFlash는 Ornith-1.5-35B-A3B 모델을 DFlash draft 모델과 결합하여 speculative decoding을 수행합니다.
https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B-DFlash
submitted by /u/jacek2023
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기