요약

이 Pull Request는 Tencent의 Hy3(hy_v3) 모델을 포함하여, 다중 토큰 예측 헤드(multi-token-prediction head)를 draft-mtp speculative target으로 지원하는 내용을 담고 있습니다. 이는 효율적인 추론 속도를 높이는 데 기여할 것으로 보입니다.

핵심 포인트

• Tencent의 Hy3 (hy_v3) 모델을 지원합니다.
• 다중 토큰 예측 헤드(multi-token-prediction head)를 추가했습니다.
• draft-mtp speculative target 기능을 구현하여 추론 속도를 개선합니다.