안녕하세요 여러분, AnythingLLM의 Tim입니다. 오늘 PrismML이 Bonsai 27B를 공개했습니다. 이 모델은 Bonsai 8B 및 Image 모델에 적용했던 BitNet/Ternary 모델 개념을 활용한 것으로, 휴대폰에서도 매우 좋은 정확도와 성능으로 구동할 수 있습니다. 그리고 이를 Qwen3.6 27B에 적용하여 실제 지능적인 모델로 만들었습니다. 마침내 이 새로운 방법론을 사용하는 8B를 넘어서는 적절한 모델을 갖게 된 것입니다! M4 Pro에서 llama.cpp를 통해 Bonsai 27B GGUF를 @32K 컨텍스트로 구동했습니다. OpenComputer 내부에서 테스트한 내용입니다. 프롬프트는 "PrismML (prismml.com)과 그들이 하는 작업에 대한 스타일리시하고 인터랙티브한 HTML 보고서를 작성하기 위해 브라우저 리서치를 수행해 줘."였습니다. 영상은 간결함을 위해 당연히 빠르게 돌렸습니다. 저는 여전히 이 모델을 단순한 벤치마크가 아닌, 미묘한 결점을 찾기 위한 개인적인 워크플로우/사용 사례를 통해 구동하고 있습니다. 하지만 위의 영상은 OpenComputer에서 작동하는 것을 보여주는데, 이는 모델에게 자체 컴퓨터(pi harness 포함)를 제공하여 작업을 수행하게 합니다. 지금까지는 기대했던 모든 것이었습니다! Qwen3.6 27B 자체가 이미 강력한데, 저는 이 Ternary GGUF를 사용하여 llama.cpp 포크로 구동하고 있으며, M4 Pro 48GB에서 ~10GB의 메모리만 사용합니다 (@**32K 컨텍스트 기준). 이 모델은 비교 가능한 Qwen3.6 27B의 2-3비트 양자화 모델보다 훨씬, 훨씬 더 지능적입니다. 이것이 원래 핵심 목적이니까요. 따라서 여기에서 뭔가 특별한 일이 일어나고 있는 것 같습니다. 저 자신도 잘 모르겠습니다. 제가 이해하기로는 dFlash도 곧 나올 예정이지만, 언제일지는 명확하지 않고 이 모델에서의 MTP 지원 여부나 지원될지 여부도 확실하지 않습니다. 하지만 256K 컨텍스트 창과 멀티모달 입력을 가지고 있다는 점은 저를 기쁘게 합니다. 개인적으로는 이 공개가 Mythos나 GPT-5.6보다 훨씬 중요합니다. 왜냐하면 <12GB의 메모리에서 27B 모델을 구동하는 것은 에이전트와 일반적인 사용에 극도로 실용적이기 때문입니다. 이 모델은 이미 충분히 능력이 있었지만, 높은 유틸리티를 실제로 가지려면 많은 사람이 기기에서 구동하기에는 현실적이지 않았습니다. 이것은 클라우드/NVIDIA 관점에서 DeepSeek의 실제 순간처럼 느껴집니다.

어쨌든, 만약 시도해 보신다면 알려주시고, 지금까지 저에게는 좋았지만 짧게만 테스트했기 때문에 이상한 점을 발견하셨다면 말씀해주세요. 저는 그들의 MLX 버전을 사용해 보지 않았고, 테너리(ternary) 방식이 노트북/데스크톱 폼팩터에 훨씬 좋아서 바이너리 모델은 테스트할 엄두를 내지 못했습니다. 흥미진진한 시기입니다! 원래의 Qwen3.6 27B 및 Unsloth의 전통적인 양자화(quant)와 비교했을 때 벤치마크 결과는 매우 뛰어납니다. 참고로: PrismML 팀에서 이 릴리스를 2일 전에 제가 미리 사용할 수 있게 해주셔서 정말 감사드립니다 ❤️*! 위의 데모는 그 얼리 액세스 버전을 실행하고 있지만, 지금 HF(Hugging Face)에서 받으시는 것과 동일해야 합니다.* 링크/참고 자료 백서: https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-27b-whitepaper.pdf 블로그: https://prismml.com/news/bonsai-27b HF: https://huggingface.co/collections/prism-ml/bonsai-27b LlamaCPP 포크 (현재 필요): https://github.com/PrismML-Eng/llama.cpp MLX 포크: https://github.com/PrismML-Eng/mlx /u/tcarambat 님이 제출함 [링크] [댓글]