Qwen3.8-27B 모델이 89.4%라는 높은 비율로 압축되어 55.6GB 체크포인트에서 단지 5.9GB까지 줄었으며, 이 과정에서도 원래의 종합 벤치마크 성능 중 98.2%를 유지한 것으로 보고되었습니다.
이러한 시스템은 PrismML의 모델 압축 기술인 Bonsai 2이며, 이는 두 번째 세대 제품입니다.
흥미로운 점은 이것이 첫 시도가 아니라는 것입니다.
이전 Bonsai 27B 버전은 원래 모델의 벤치마크 성능 중 약 95%를 보존한 것으로 알려졌습니다. Bonsai 2는 이 수치를 20개 벤치마크에 걸쳐 98.2%로 끌어올렸습니다.
이는 압축된 모델이 놀라울 정도로 작은 크기를 유지하면서도 3.2 퍼센트 포인트의 개선을 의미합니다.
보고된 수치는 다음과 같습니다:
- 원본 Qwen3.8-27B: 55.6GB
- Bonsai 2 체크포인트: 5.9GB
- 저장 공간 감소율: 89.4%
- 유지된 벤치마크 성능: 98.2%
- 이전 Bonsai 버전: 약 95%
- 평가 범위: 20개 벤치마크
이것이 왜 흥미로운지 이해하려면, 압축이 어떻게 작동하는지 살펴봐야 합니다.
- 테너리 양자화(Ternary quantisation)는 모델을 세 가지 가중치 값으로 줄입니다.
Bonsai 2는 '테너리 양자화(ternary quantisation)'라는 기술을 사용합니다.
대부분의 신경망(neural networks)은 FP16, BF16, INT8 또는 INT4와 같은 수치 형식(numerical formats)을 사용하여 가중치를 저장합니다. 이러한 형식들은 가중치가 다양한 정밀도 수준에서 다른 수치 값을 표현할 수 있도록 합니다.
테너리 양자화는 훨씬 더 공격적인 접근 방식을 취합니다.
가중치를 광범위한 숫자 범위로 표현하는 대신, 이를 단 세 가지 가능한 값으로 줄입니다:
이는 개별 가중치를 표현하는 데 필요한 정보의 양을 크게 줄여줍니다.
비교하자면, FP16 가중치는 16비트의 저장 공간을 사용하지만, 기본적인 테너리 표현은 이론적으로 가중치당 2비트보다 훨씬 적게 필요합니다.
그러나 수십억 개의 가중치의 정밀도를 낮추는 것은 어려운 문제를 만듭니다.
모델의 가중치는 학습 과정에서 습득된 수치적 관계를 인코딩합니다. 이러한 관계는 모델이 언어를 이해하고, 지침을 따르고, 문제를 해결하며, 코드를 생성하는 방식에 영향을 미칩니다.
압축 과정에서 너무 많은 정보가 폐기되면 모델은 중요한 기능을 잃을 수 있습니다.
Bonsai 2는 자체의 간결한 삼진법 표현(ternary representations)에 스케일링 팩터(scaling factors)를 결합하여 원본 가중치(original weights)의 유용한 정보를 더 많이 보존합니다. 목표는 모델 품질이 급격히 저하되지 않으면서 저장 요구 사항을 극적으로 줄이는 것입니다.
- Bonsai 2는 이전 세대보다 개선되었습니다
두 Bonsai 버전을 비교해 볼 가치가 있습니다.
기존의 Bonsai 27B는 Qwen3.8-27B의 종합 벤치마크 성능 중 약 95%를 유지한 것으로 알려졌습니다.
Bonsai 2는 이를 20개 벤치마크 전반에 걸쳐 98.2%로 높였습니다.
이러한 개선은 PrismML이 매우 간결한 표현을 사용했음에도 불구하고 모델 품질을 보존하는 데 진전을 이루었음을 시사합니다.
또한 이 회사는 특히 흥미로운 세 가지 영역에서의 개선 사항을 강조했습니다:
코딩 에이전트(Coding agents).
멀티모달 추론(Multimodal reasoning).
장기 지평 도구 사용(Long-horizon tool use).
이러한 기능들은 현대의 AI 모델이 점점 더 큰 시스템 내부의 구성 요소로 사용되고 있기 때문에 중요합니다.
코딩 에이전트를 예로 들어보겠습니다.
이는 기존 레포지토리(repository)를 이해하고, 관련 파일을 찾고, 코드를 수정하며, 명령을 실행하고, 오류를 검사하여 문제가 발생했을 때 구현을 수정할 필요가 있습니다.
이것은 단순히 구문적으로 올바른 코드를 생성하는 것 이상의 것을 요구합니다. 모델은 컨텍스트를 유지하고, 결정을 내리며, 여러 단계에 걸쳐 외부 도구와 상호 작용해야 합니다.
만약 Bonsai 2가 5.9GB 체크포인트에서 이러한 기능들을 보존할 수 있다면, 로컬 AI 에이전트를 구축하는 개발자들에게 흥미로운 선택지가 될 수 있습니다.
하지만 종합 벤치마크 점수가 장기간 실행되는 에이전트 워크플로우가 원본과 거의 동일하게 작동한다는 것을 입증하지는 못합니다. 그러한 기능들은 전용 평가가 필요합니다.
- 27B 모델을 5.9GB로 줄이는 것은 로컬 추론(local inference)에 어떤 의미를 가질까요?
원본 55.6GB 체크포인트는 상당한 저장 공간 요구 사항을 만듭니다.
개발자들은 모델을 실행하는 데 필요한 하드웨어를 고려하기 전에, 먼저 다운로드하고 보관할 충분한 디스크 공간이 필요합니다.
Bonsai 2는 해당 체크포인트를 5.9GB로 줄입니다.
[인용 @Oluwaphilemon1: Qwen3.8-35B-A3B는 12GB VRAM을 가진 RTX 3060에서 초당 50 토큰(Tokens/s)으로 실행됩니다
단지 12GB의 VRAM을 가진 RTX 3060에서 초당 약 50 토큰으로 생성되는 350억 개 매개변수 모델입니다.
이는 추가로 시스템 RAM 16GB를 사용하여 llama.cpp를 통해 로컬에서 실행된 Qwen3.8-35B-A3B의 보고된 성능입니다.
세팅(setu]