
CPU에서 59 t/s로 구동되는 POCKET-35B 에이전트 모델
요약
GPU 없이 llama.cpp만을 사용하여 PC와 스마트폰에서 구동 가능한 POCKET-35B 모델 시리즈를 소개합니다. 기기 사양에 따라 다양한 양자화 버전을 제공하며, 특히 한국어 최적화 모델을 포함하고 있습니다.
핵심 포인트
- CUDA나 클라우드 없이 순정 llama.cpp로 구동 가능
- PC, Android, iPhone 등 다양한 환경 지원
- 용도와 RAM 용량에 따른 다양한 GGUF/MLX 모델 제공
- 한국어 특화 모델(POCKET-KR) 포함
https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF GPU 없이 PC에서, 그리고 스마트폰에서도 실행 가능한 35B 모델입니다. 오직 순정 llama.cpp만 사용합니다. 포크(fork), CUDA, 클라우드도 필요 없습니다. POCKET 라인업 — 기기에 따라 선택하세요.
| 리포지토리 (Repo) | 파일 크기 (File Size) | 구동 환경 (Runs on) | 최적 용도 (Best for) | 한국어 PPL* |
|---|---|---|---|---|
| POCKET-35B-GGUF Q4_K_M | 21 GB | PC / 서버 (32 GB RAM) | 최고 품질 (top quality) | 5.79 |
| POCKET-35B-GGUF Q2_K ⭐ | 13 GB | 미니 PC, GPU 없음 | 데일리 드라이버 (daily driver) | 6.49 |
| POCKET-35B-GGUF IQ1_M | 8.2 GB | 16 GB RAM 박스 | 가장 작은 전체 모델 (smallest full model) | 9.69 |
| POCKET-KR-GGUF IQ2_M | 5.1 GB | Android 8 GB+ | ||
| 🇰🇷 한국어 | 한국어 스마트폰 | 7.95 | ||
| POCKET-KR-MLX 2-bit | 5.1 GB | 🍎 iPhone / iPad / Mac | ||
| 🇰🇷 한국어, Apple 네이티브 | 7.95 | |||
| POCKET-EN-GGUF iPhone-mix | 5.3 GB | 🍎 iPhone (PocketPal) | ||
| 🌍 영어 스마트폰 | — | |||
| POCKET-EN-GGUF PC-mix | 6.8 GB | PC / Android | ||
| 🌍 영어, 최고 품질 | — |
— /u/Powerful_Evening5495 제출 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기