Ornith-1.0-35B GGUF 업데이트: 네이티브 MTP 투기적 디코딩 (speculative-decode) 접목 + 전체

요약

Ornith-1.0-35B GGUF 모델에 네이티브 MTP(Multi-Token Prediction) 투기적 디코딩 기술을 접목하여 추론 성능을 개선했습니다. IQ4_XS 양자화 모델에 MTP 헤드를 결합하여 단일 스트림 디코딩 속도를 약 1.3~1.35배 향상시켰으며, 높은 모델 충실도를 유지합니다.

핵심 포인트

• MTP 접목을 통해 단일 스트림 디코딩 속도 1.3~1.35배 향상
• IQ4_XS-MTP 모델이 기존 Q4_K_M보다 우수한 KLD 성능 기록
• llama.cpp 환경 및 단일 GPU(RTX PRO 6000) 최적화 테스트 완료
• 긴 문맥(32k)에서도 효율적인 프리필(prefill) 속도 제공