Bonsai 27B: A 27‑billion‑parameter model on a phone

Bonsai 27B는 270억 개의 매개변수를 가진 새로운 언어 모델입니다.

클라우드 서버 없이 스마트폰에서 직접 구동할 수 있습니다.

이 모델은 기기의 메모리에 적합하며 효율적인 양자화(quantization)를 사용하여 빠른 속도를 유지합니다.

이를 통해 고급 AI가 오프라인으로 사용 가능해져 개인 정보 보호를 보장하고 지연 시간(latency)을 줄일 수 있습니다.

개발자는 몇 줄의 코드로 모델을 로드할 수 있습니다.

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = prismml/bonsai-27b
...

이 코드 스니펫은 호환 가능한 PyTorch 런타임이 있는 Android 또는 iOS에서 작동합니다.

스마트폰에서 27B 모델을 구동하는 것은 새로운 가능성을 열어줍니다.

챗봇, 번역기, 코딩 어시스턴트가 어디서든 작동할 수 있습니다.

인터넷 연결이 필요하지 않으며, 사용자 데이터는 기기에 남아 있습니다.

이 접근 방식은 대규모 AI 모델이 더 이상 데이터센터 서버에만 국한되지 않음을 보여줍니다.

출처: Bonsai 27B – PrismML