MiniCPM-V 4.7 데모로 본, 휴대폰에서 구동되는 35B 멀티모달 모델의 가능성

OpenBMB가 공개한 MiniCPM-V 4.7 데모를 방금 봤는데, 온디바이스(on-device) 기능이 정말 인상적입니다. 35B-A3B MoE 비전-언어 모델을 모바일 기기에서 로컬로 구동하는 것 자체가 이미 흥미롭지만, 사용 사례들이 제 관심을 사로잡았습니다: 📷 실제 표지판 읽기 📄 복잡한 문서 이해 🧠 시각 정보 추론 🗺️ 실제 환경 제약 조건 기반 계획 수립 핵심은 LES (Lookahead Expert Scheduling)인 것 같습니다. 단순히 모델을 작게 만드는 대신, 병목 현상을 줄이기 위해 전문가(experts)를 예측하고 미리 로드하여 MoE 추론을 최적화했습니다. 또한 리소스가 제한적인 기기를 위해 더 작은 MiniCPM-V 4.7 1B 모델도 공개했습니다. 또 다른 흥미로운 추가 기능은 Self-Replay Fine-Tuning (SRFT)으로, 이는 일반적인 기능을 유지하면서 개발자가 특정 작업에 맞게 모델을 커스터마이징할 수 있도록 하는 것을 목표로 합니다. 이 방향성이 흥미롭습니다: 모든 이미지/질문을 클라우드로 보내는 대신, 휴대폰에서 직접 구동되는 유능한 멀티모달 비서가 가까워지고 있습니다. 링크: GitHub: https://github.com/OpenBMB/MiniCPM-V Hugging Face: https://huggingface.co/collections/openbmb SRFT 상세 정보: https://openbmb.cn/en/blog/self-replay-fine-tuning /u/Equivalent-Grass-527 제출 [링크] [댓글]