PrismML의 새로운 Ternary Qwen3.6 27B 모델, 메모리 10GB 근처에서 FP16 수준 성능 구현!

요약

PrismML이 Bonsai 27B 모델을 공개했으며, 이는 BitNet/Ternary 개념을 활용하여 Qwen3.6 27B에 적용한 것입니다. 이 새로운 방법론 덕분에 메모리 약 10GB만으로도 높은 성능의 27B 모델 구동이 가능해져, 기기에서 사용하기 매우 실용적입니다.

핵심 포인트

• 메모리 10GB 근처에서 FP16 수준 성능 구현 (Qwen3.6 27B 기반).
• Ternary GGUF를 통해 대형 모델을 휴대폰 등 기기에서 구동 가능하게 함.
• 클라우드/NVIDIA 의존도를 낮추고 온디바이스 AI의 실용성을 높임.
• M4 Pro 환경에서 @32K 컨텍스트로 테스트되었으며, 높은 유틸리티를 입증함.