Ternary Bonsai 2 (27B)가 Hugging Face에 출시되었습니다.
요약
Ternary Bonsai 2 (27B) 모델이 Hugging Face에 출시되었습니다. 이 모델은 Qwen3.8-27B에서 파생되었으며, 테너리 가중치(ternary weights)를 적용하여 크기를 FP16 대비 9배 줄였습니다. 그럼에도 불구하고 지능의 98.2%를 유지하는 고효율 언어 모델입니다.
핵심 포인트
- Qwen3.8-27B 기반의 하이브리드 어텐션 인과 언어 모델입니다.
- 테너리 가중치 적용으로 모델 크기를 획기적으로 줄였습니다 (FP16 대비 9배).
- 모델 경량화에도 불구하고 지능 유지율이 높습니다 (98.2%).
이 모델은 Qwen3.8-27B에서 파생되었으며, 27B 하이브리드 어텐션(hybrid-attention) 인과 언어 모델(causal language model)입니다(아키텍처 변경 없음). 하지만 테너리 가중치(ternary weights)를 사용하여 모델 크기를 <6GB로 줄였습니다. 모델 카드에 따르면, 이는 FP16보다 9배 작으면서도 지능의 98.2%를 유지합니다. - 컬렉션: https://huggingface.co/collections/prism-ml/bonsai-2 - 데모: https://huggingface.co/spaces/webml-community/ternary-bonsai-2-webgpu-kernels /u/xenovatech가 제출했습니다 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0