openbmb/MiniCPM-V-4.7-35B-A3B

gguf's: https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B-gguf
" MiniCPM-V 4.7은 MiniCPM-V 시리즈의 최신 모델이며, 35B-A3B 변형으로 제공됩니다. 여기서 35B-A3B는 MiniCPM-V 시리즈 최초의 MoE(Mixture of Experts) 모델입니다. 이 모델은 가족 모델의 단일 이미지, 다중 이미지 및 비디오 이해 기능을 계승하여, 더욱 강력한 기반 기능과 효율적인 시각 인코딩 및 온디바이스 추론을 결합했습니다. MiniCPM-V 4.7의 주목할 만한 특징은 다음과 같습니다:
📱 손실 없는(Lossless), 부드러운 온디바이스 추론이 가능한 최초의 오픈소스 MoE 모델입니다. MiniCPM-V 4.7과 함께 도입된 Lookahead Expert Scheduling (LES) 기술을 미세 조정된 레이어별 양자화 및 DSpark speculative sampling 통합과 결합하여, MiniCPM-V 4.7 35B-A3B는 성능 저하 없이 온디바이스에서 원활하게 실행되는 최초의 오픈소스 MoE 모델이 되었으며, iPhone 17 Pro Max에서 13+ 토큰/초의 디코딩 속도를 달성했습니다.
🔥 성능과 효율성의 새로운 파레토 최전선(Pareto Frontier)을 제시합니다. 모델 기능이 계속 발전함에 따라 추론 효율성은 모델 가치의 중요한 측정 기준이 되었습니다. 자원 제약적인 장치에서 제한된 자원 예산 내에서 가능한 가장 강력한 기능을 제공하려면 더 높은 기능 밀도(capability density)가 요구됩니다. MiniCPM-V 4.7의 35B-A3B 변형은 MLLM(Multi-modal Large Language Model)의 성능-효율성 파레토 최전선을 발전시킵니다. Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 짧은 추론 시간으로 더 높은 전반적인 점수를 달성합니다.
🚀 효율적인 아키텍처입니다. LLaVA-UHD v4의 내부 ViT(Vision Transformer) 초기 압축 기술을 기반으로, MiniCPM-V 4.7은 비전 인코더 내에서 시각 토큰을 조기에 압축하여 후속 인코더 레이어의 계산량을 줄입니다. 또한 혼합된 4x/16x 시각 토큰 압축을 지원하여 개발자가 작업별로 시각적 디테일과 추론 비용 간의 균형을 맞출 수 있게 합니다.
💻 광범위한 플랫폼 및 칩 지원: MiniCPM-V 4.7은 iOS, Android, HarmonyOS를 지원하며 오픈소스 온디바이스 배포 지원도 함께 제공합니다.

또한 Rockchip, Houmo, Intel, AMD, Arm의 칩 플랫폼에 대한 day-0 지원을 제공하여 모바일 및 로컬 컴퓨팅 장치 전반에 걸쳐 배포 옵션을 확장합니다. 🛠️ 개발자 친화적입니다. MiniCPM-V 4.7은 SGLang, vLLM, llama.cpp, Ollama를 포함한 추론 프레임워크와 SWIFT, LLaMA-Factory를 포함한 미세 조정(fine-tuning) 프레임워크를 지원합니다. GGUF, BNB, AWQ, GPTQ 양자화 변형을 제공하며 FP8 양자화 지원도 추가했습니다. 또한 개발자가 기존 기능의 망각을 줄이면서 낮은 비용으로 모델 기능을 확장하는 데 도움이 되는 미세 조정 접근 방식인 Self-Replay Fine-Tuning을 출시했습니다. 이를 통해 추가적인 맞춤 설정이 더 쉬워졌습니다.