openbmb/MiniCPM-V-4.7-1B 모델 소개

Gguf's: https://huggingface.co/openbmb/MiniCPM-V-4.7-1B-gguf " MiniCPM-V 4.7은 MiniCPM-V 시리즈의 최신 모델로, 1B 변형으로 제공됩니다. 이 모델은 가족의 단일 이미지, 다중 이미지 및 비디오 이해 기능을 기반으로 하며, 강력한 기초 기능과 효율적인 시각 인코딩 및 온디바이스 추론을 결합합니다. MiniCPM-V 4.7의 주목할 만한 특징은 다음과 같습니다:

🔥 성능과 효율성의 새로운 파레토 프런티어(Pareto Frontier). 모델 기능이 계속 발전함에 따라, 추론 효율성은 모델 가치의 중요한 측정 기준이 되었습니다. 리소스가 제한된 장치에서 제한된 자원 예산 내에서 가능한 가장 강력한 기능을 제공하려면 더 높은 기능 밀도(capability density)가 필요합니다. MiniCPM-V 4.7의 1B 변형은 MLLM(Multi-modal Large Language Model)의 성능–효율성 파레토 프런티어를 발전시킵니다. Instruct 모드에서, 1B 변형은 MiniCPM-V 4.6 대비 기초 기능을 지속적으로 개선하며, 전체 점수와 추론 효율성 모두에서 Qwen3.5 0.8B를 크게 능가합니다.

🚀 효율적인 아키텍처(Efficient Architecture). LLaVA-UHD v4의 내부 ViT 초기 압축 기술을 기반으로 MiniCPM-V 4.7은 비전 인코더 내에서 시각 토큰을 조기에 압축하여 후속 인코더 레이어의 계산량을 줄입니다. 또한 혼합된 4x/16x 시각 토큰 압축을 지원하여 개발자가 작업별로 시각적 디테일과 추론 비용 간의 균형을 맞출 수 있게 합니다.

💻 광범위한 플랫폼 및 칩 지원(Broad Platform and Chip Support). MiniCPM-V 4.7은 iOS, Android, HarmonyOS를 지원하며 오픈 소스 온디바이스 배포 지원 기능을 갖추고 있습니다. 또한 Rockchip, Houmo, Intel, AMD, Arm 등 칩 플랫폼에 대한 day-0 지원을 제공하여 모바일 및 로컬 컴퓨팅 장치 전반에 걸쳐 배포 옵션을 확장합니다.

🛠️ 개발자 친화적(Developer Friendly). MiniCPM-V 4.7은 SGLang, vLLM, llama.cpp, Ollama를 포함한 추론 프레임워크와 SWIFT, LLaMA-Factory를 포함한 미세 조정(fine-tuning) 프레임워크를 지원합니다. GGUF, BNB, AWQ, GPTQ 양자화 변형을 제공하며 FP8 양자화 지원 기능을 추가했습니다.

또한 개발자들이 기존 기능을 잊어버리는 현상(forgetting)을 줄이면서 낮은 비용으로 모델의 역량을 확장할 수 있도록 돕는 파인튜닝 접근 방식인 Self-Replay Fine-Tuning도 공개했습니다. 이를 통해 추가적인 커스터마이징이 더욱 쉬워졌습니다.