Boole-1.7B: Bonsai-1.7B를 능가하는 1비트 Qwen3-1.7B 모델 출시
요약
Precision Numerics가 Qwen3-1.7B의 1비트 버전인 Boole-1.7B를 공개했습니다. 이 모델은 크기가 BF16 대비 획기적으로 작아졌으며, 기존 Bonsai-1.7B의 1비트 버전을 능가하는 성능을 보여주었습니다.
핵심 포인트
- Boole-1.7B는 Qwen3-1.7B의 1비트 버전으로 공개되었습니다.
- 크기가 BF16 대비 13.9배 작아져 경량화가 뛰어납니다.
- 평균 점수 기준으로 Bonsai-1.7B의 1비트 버전을 능가합니다.
Precision Numerics에서 Boole-1.7B, 즉 Qwen3-1.7B의 1비트 버전을 공개합니다. 247 MB 크기의 패킹된 가중치(packed weights)는 BF16보다 13.9배 작습니다. 저희가 진행한 10개 작업 평가에서 BF16 모델이 기록한 평균 점수의 85.9%를 달성하며, Bonsai-1.7B의 1비트 버전을 능가하고 1.58비트 Bonsai-1.7B와 거의 비슷한 성능을 보입니다. 브라우저에서 로컬로 사용해 보시거나 (영어에 최적화됨), vLLM 또는 llama.cpp와 함께 사용하실 수 있습니다. 저희는 오픈 소스 커뮤니티를 위해 더 강력한 모델들을 출시할 예정입니다. 다음에 어떤 모델이나 기능을 보고 싶은지 알려주세요. 블로그: precisionnumerics.ai/blog/boole-1p7b 가중치: huggingface.co/precision-numerics/Boole-1.7B 데모 코드 (vLLM, llama.cpp용): github.com/PrecisionNumerics/boole-demo 브라우저에서 로컬 채팅: precisionnumerics.ai/chat/
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기