Qwen3.8-27B가 55.6GB에서 단 5.9GB로 줄어들었으며, 총벤치마크(benchmark) 성능의 98.2%를 유지했다고 보고되었습니다.
이는 체크포인트 크기에서 89.4%의 감소를 의미합니다. 압축된 버전은 원본보다 9배 이상 작습니다.
이 결과는 Bonsai의 개발팀인 PrismML이 두 번째 세대 압축 시스템인 Bonsai 2를 출시하면서 나왔습니다.
20개 벤치마크에 걸쳐, 이 팀은 다음과 같이 보고합니다:
- 원본 Qwen3.8-27B: 55.6GB
- Bonsai 2 체크포인트: 5.9GB
- 저장 공간 감소율: 89.4%
- 총벤치마크 성능 유지율: 98.2%
- 이전 Bonsai 27B 버전: 약 95% 유지
흥미로운 점은 PrismML이 측정 가능한 성능을 크게 손실하지 않으면서 모델의 저장 공간 발자국(storage footprint) 중 거의 90%를 어떻게 제거할 수 있었는지입니다.
기술: 테르너리 양자화 (Ternary quantisation)
Bonsai 2는 가중치(weights)를 세 가지 가능한 값만 사용하여 표현하는 공격적인 형태의 양자화(quantisation)를 사용합니다:
시스템은 FP16, INT8 또는 4비트 정수와 같은 기존 형식을 사용하여 가중치를 저장하는 대신, 이 간결한 테르너리 값과 스케일링 팩터(scaling factors)를 함께 사용하여 유용한 수치 범위를 재구성합니다.
이는 모델의 가중치를 표현하는 데 필요한 정보량을 크게 줄입니다.
하지만 가중치를 압축하는 것은 절반의 어려움일 뿐입니다. 더 어려운 부분은 얼마나 많은 유용한 정보가 손실되는지 제어하는 것입니다.
모델 가중치는 언어 생성 및 지침 따르기(instruction-following), 코딩, 추론 등 모든 것에 영향을 미칩니다. 정밀도를 너무 공격적으로 낮추면 모델의 동작에 영향을 줄 수 있습니다.
Bonsai 2는 불필요한 저장 오버헤드(storage overhead)를 제거하는 동시에 유용한 모델 성능에 가장 크게 기여하는 정보를 보존하는 것을 목표로 합니다.
첫 번째 Bonsai 세대 대비 무엇이 개선되었나요?
PrismML은 27B 압축의 총 성능 유지율이 약 95%에서 98.2%로 향상되었다고 보고합니다.
이 팀은 또한 현대 AI 시스템에 특히 까다로운 영역에서의 발전을 강조했습니다:
코딩 에이전트(Coding agents): 단순히 고립된 코드 스니펫을 생성하는 것을 넘어 다단계 프로그래밍 작업을 처리합니다.
멀티모달 추론(Multimodal reasoning): 다양한 유형의 입력을 처리하고 추론합니다.
장기 작업 도구 사용(Long-horizon tool use): 반복적인 결정, 도구 호출 및 중간 결과를 포함하는 확장된 워크플로우 전반에 걸쳐 신뢰성을 유지합니다.
에이전트적 측면(agentic side)은 특별한 주목을 받을 만합니다.
실제 프로젝트에서 작업하는 코딩 에이전트는 저장소(repository)를 검사하고, 종속성(dependencies)을 이해하며, 여러 파일을 수정하고, 테스트를 실행하고, 실패 원인을 진단하며, 구현을 수정해야 할 수 있습니다.
신뢰성의 작은 손실이라도 이러한 단계들 전반에 걸쳐 누적될 수 있습니다. 확장된 워크플로우 전체에서 강력한 성능을 유지하는 압축 모델은 짧은 벤치마크 프롬프트에서만 잘 작동하는 모델보다 더 유용할 수 있습니다.
5.9GB 체크포인트는 로컬 AI에 어떤 의미일까요?
이처럼 작은 모델은 배포하고, 저장하고, 실험하기가 더 쉽습니다.
또한 이는 일반 소비자용 하드웨어와 제한된 저장 용량을 사용하는 개발자들에게 Qwen3.8-27B를 더욱 접근하기 쉽게 만들 수 있습니다.
하지만 5.9GB는 모델을 실행하는 데 필요한 총 메모리가 아니라 체크포인트 크기입니다.
추론(Inference)은 여전히 KV 캐시(KV cache), 활성화 값(activations), 임시 버퍼(temporary buffers), 런타임 오버헤드(runtime overhead)를 위한 메모리를 필요로 합니다. 실제 요구 사항은 컨텍스트 길이(context length), 동시성(concurrency), 정밀도(precision), 그리고 추론 엔진(inference engine)에 따라 달라질 것입니다.
또한 전체 벤치마크 유지율과 개별 작업 성능 사이에는 중요한 구분이 있습니다.
보고된 20개 벤치마크 전반의 98.2%가 모든 기능이 원래 성능의 정확히 98.2%를 유지한다는 의미는 아닙니다. 일부 작업은 다른 작업보다 더 큰 손실을 경험할 수 있습니다.
복잡한 추론, 코딩 에이전트 및 확장된 도구 워크플로우 전반에 걸친 독립적인 테스트는 압축된 체크포인트가 실제 사용에서 얼마나 잘 작동하는지 확인하는 데 도움이 될 것입니다.
하지만 이전 Bonsai 세대에서 약 95%의 유지율을 보였던 것에서 Bonsai 2를 사용해 보고된 98.2%로 향상된 것은 주목할 만한 개선입니다.
[인용 @Oluwaphilemon1: Qwen3.8-27B는 1989년 6월 천안문 광장 사건에 대한 질문에 답변하기를 거부했습니다.]
Nous Research가 Qwen3.8-27B를 지도 미세 조정(supervised fine-tune)한 Arete-27B는 민주화 시위에 대한 군대 진압과 시위대 학살을 묘사하는 직접적인 역사적 답변을 제공했습니다.
두 모델 모두는 다음과 같았습니다]