model: MTP speculative decoding을 통한 Hy3 (hy_v3) 지원 추가 (#25395)

• model: Hy3 (hy_v3) 아키텍처 지원 추가

Tencent Hunyuan 3 (HF 아키텍처 HYV3ForCausalLM, GGUF 아키텍처 hy_v3)를 추가합니다: per-head Q/K RMSNorm, expert selection bias가 있는 sigmoid router, 항상 활성화되는 ungated shared expert, 그리고 선행 dense block(s) (first_k_dense_replace)를 갖춘 MoE decoder stack입니다.

기본 구현은 charlie12345의 fork (https://github.com/charlie12345/ROCmFPX, src/models/hyv3.cpp)에서 포팅되었으며, 현재의 mainline API (hparams.n_layer(), build_qkv, fused gate_up + scale tensors를 사용하는 build_moe_ffn, output_s)에 맞게 조정되었습니다.

참고: blk.N.exp_probs_b는 해당 fork에서 생성된 기존 hy_v3 GGUF와의 호환성을 위해 .bias 접미사 없이 저장됩니다.

Co-Authored-By: charlie12345 charlie12345@users.noreply.github.com
Co-authored-by: Piotr Wilkin ilintar@gmail.com
Assisted-by: Claude Fable 5

macOS/iOS:

• macOS Apple Silicon (arm64)
• macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨
• macOS Intel (x64)
• iOS XCFramework

Linux:

Linux:

• Ubuntu x64 (CPU)
• Ubuntu arm64 (CPU)
• Ubuntu s390x (CPU)
• Ubuntu x64 (Vulkan)
• Ubuntu arm64 (Vulkan)
• Ubuntu x64 (ROCm 7.2)
• Ubuntu x64 (OpenVINO)
• Ubuntu x64 (SYCL FP32)
• Ubuntu x64 (SYCL FP16)

Android:

• Android arm64 (CPU)

Windows:

Windows:

• Windows x64 (CPU)
• Windows arm64 (CPU)
• Windows arm64 (OpenCL Adreno)
• Windows x64 (CUDA 12) - CUDA 12.4 DLLs
• Windows x64 (CUDA 13) - CUDA 13.3 DLLs
• Windows x64 (Vulkan)
• Windows x64 (OpenVINO)
• Windows x64 (SYCL)
• Windows x64 (HIP)

openEuler:

• DISABLED
• openEuler x86 (310p)
• openEuler x86 (910b, ACL Graph)
• openEuler aarch64 (310p)
• openEuler aarch64 (910b, ACL Graph)

UI:

• UI