Bonsai 27B: 커스텀 WebGPU 커널을 사용한 브라우저 로컬 구동 1비트 밀집 LLM

요약

PrismML 팀이 Bonsai 27B 모델을 공개했습니다. 이 모델은 1비트 양자화를 통해 크기를 대폭 줄여(54GB → 3.8GB)도 성능 저하를 최소화한 것이 특징입니다. 커스텀 WebGPU 커널을 활용하여 브라우저 환경에서 로컬 구동이 가능합니다.

핵심 포인트

• Bonsai 27B 모델은 1비트 양자화를 적용했습니다.
• 모델 크기를 약 93% 줄여 효율성을 높였습니다.
• 커스텀 WebGPU 커널을 사용해 브라우저 로컬 구동이 가능합니다.