세상에.. 이건 불가능해야 합니다

세상에.. 이건 불가능해야 합니다

브라우저 내부에서 실행되며, 동일 크기의 모든 모델을 압도하고, 자체적인 데스크톱 펫(desktop pet)까지 갖춘 1B 모델이라니...

MiniCPM-5 1B가 온디바이스 AI (on-device AI)의 판도를 바꾸었습니다.

여러분이 알아야 할 모든 것을 소개합니다.

그것은 무엇인가요?

MiniCPM-5 1B는 @OpenBMB 가 개발한 10억 개(1-billion) 파라미터 텍스트 모델입니다. "Pocket Rocket" 시리즈의 일부입니다.

이 모델은 단 한 가지를 위해 구축되었습니다: 여러분이 소유한 어떤 기기에서든 강력한 AI를 로컬 (locally)에서 실행하는 것.

여러분의 노트북, 휴대폰, 심지어 브라우저 탭 안에서도 말이죠.

1B 모델 치고는 벤치마크 (benchmarks) 결과가 말도 안 됩니다.

MiniCPM-5 1B vs 경쟁 모델:

MMLU-Pro에서 48.85 (Qwen3.5: 42.74)
MMLU-Redux에서 70.06 (Qwen3.5: 61.50)
MATH-500에서 91.60 (Qwen3.5: 30.40)
AIME-2025에서 40.42 (Qwen3.5: 1.04)
τ²-Bench에서 79.53 (Qwen3.5: 19.60)

압도적인 성능입니다.

하지만 진짜 멋진 부분은 따로 있습니다...

데스크톱 펫 (desktop pet) 앱이 함께 제공됩니다. 픽셀 친구처럼 화면에 상주하는 작은 AI 동반자입니다.

저는 제 Mac에 설치했습니다. 모델을 로드했고, 몇 분 만에 제 데스크톱에서 바로 저와 채팅을 시작했습니다.

클라우드 (cloud) 없음. API 비용 없음. 인터넷 없음.

그리고 말 그대로 어디에서나 실행됩니다. 상세 사양은 다음과 같습니다:

FP16: ~2GB VRAM (GPU / MacBook / 서버, 손실 없음)
INT8: ~1GB (노트북 / 엣지 박스, 손실 거의 없음)
INT4/Q4: ~0.5GB (휴대폰 / 태블릿 / 심지어 자동차 시스템)

llama.cpp, ollama, vLLM, Sglang, Hugging Face를 통한 추론 (inference)이 가능하며,

여기서부터 정말 놀라운 점이 나옵니다.

MiniCPM-5 1B는 AI가 생성한 훈련 프레임워크 (training framework)인 ForgeTrain을 사용하여 사전 훈련 (pre-trained)되었습니다. 인간 프로그래머는 단 한 명도 코드를 작성하지 않았습니다.

AI가 말 그대로 이 AI를 훈련시킨 코드를 직접 작성한 것입니다. 그리고 이는 NVIDIA Megatron보다 10% 더 빠릅니다.

우리는 AI가 AI를 만드는 시대에 진입하고 있습니다.

MiniCPM-5 1B. 오픈 소스 (open-source). 무료. 온디바이스 (on-device). Pocket Rocket이 돌아왔습니다.

직접 체험하고 기여해 보세요:

Hugging Face:
https://huggingface.openbmb.com/model/openbmb/MiniCPM5-1B
…
GitHub:
https://github.com/OpenBMB/MiniCPM

AI의 미래는 단순히 가장 거대한 모델이 아닐 것입니다. 여러분이 실제로 직접 실행할 수 있는 모델이 될 것입니다.

그것을 다운로드하세요. 펫 앱(pet app)을 사용해 보세요. 그것으로 무언가를 만들어 보세요. 그리고 여러분이 개발자라면, 저장소(repo)에 기여하세요.

여러분의 노트북에서 1B 모델로 무엇을 만드시겠습니까?

이 내용이 유익했다면 리포스트(repost) 해주세요.