Qwen3.8-27B가 총체적 벤치마크 성능의 98.2%를 유지하면서 크기가 55.6GB에서 단 5.9GB로 줄었다는 보고

Qwen3.8-27B 모델이 총체적인 벤치마크 성능의 98.2%를 유지하는 동시에, 크기가 55.6GB에서 단 5.9GB로 축소되었다고 보도되었습니다.

이는 Bonsai 개발팀인 PrismML에 따르면 약 89.4% 모델 크기 감소를 의미합니다.

보고된 수치는 다음과 같습니다:

• 원본 Qwen3.8-27B: 55.6GB
• Bonsai 2 압축 버전: 5.9GB
• 유지된 총체적 벤치마크 성능: 98.2%
• 이전 Bonsai 27B 버전: 약 95% 유지율
• 평가 범위: 20개 벤치마크

이러한 압축 기술의 기반은 ternary quantization(삼진법 양자화)입니다.

기존 모델 가중치는 다양한 정밀도로 표현되는 수치 값을 사용합니다. Ternary quantization는 훨씬 더 공격적인 접근 방식을 취하여, 스케일링 팩터와 함께 일반적으로 -1, 0, +1의 세 가지 가능한 값만을 사용하여 가중치를 표현합니다.

이는 모델을 저장하는 데 필요한 비트 수를 극적으로 줄여줍니다.

하지만 가중치를 축소하는 것은 절반의 과제에 불과합니다. 진정한 어려움은 그 안에 담긴 정보를 보존하는 것입니다.

양자화(quantization)를 너무 깊게 진행하면 모델이 추론, 코딩, 명령어 수행 및 기타 작업에 영향을 미치는 중요한 구별 능력을 잃을 수 있습니다.

Bonsai 2는 다음과 같은 영역에서 이전 버전을 개선했다고 보고되었습니다:

• 코딩 에이전트 (Coding agents)
• 멀티모달 추론 (Multimodal reasoning)
• 장기 지평 도구 사용 (Long-horizon tool use)

특히 에이전트적 능력(agentic capabilities)은 매우 흥미롭습니다.

AI 코딩 에이전트는 전체 코드베이스를 검사하고, 의존성을 이해하며, 여러 파일을 편집하고, 테스트를 실행하고, 오류를 해석한 다음, 작업이 완료될 때까지 이 과정을 반복해야 할 수 있습니다.

이러한 공격적인 압축 이후에도 그러한 능력을 유지하는 것은 단순히 짧은 질의응답 벤치마크에서 성능을 보존하는 것보다 훨씬 더 중요합니다.

로컬 AI에 이것이 중요한 이유

5.9GB 모델은 55.6GB 버전보다 배포하고 저장하기가 훨씬 쉽습니다.

이는 대규모 모델들이 소비자용 GPU, 노트북 및 기타 메모리가 제한된 시스템에서 로컬 추론(local inference)을 실행하는 사람들에게 더 쉽게 접근할 수 있게 만들 수 있습니다.

하지만 중요한 구분이 있습니다: 5.9GB는 보고된 모델 크기일 뿐, 실행에 필요한 총 메모리는 아닙니다. 런타임 메모리(Runtime memory)는 KV 캐시(KV cache), 컨텍스트 길이(context length), 활성화 값(activations), 추론 엔진 오버헤드(inference-engine overhead)에도 따라 달라집니다.

98.2% 수치 역시 20개 벤치마크에 걸친 종합적인 성능을 나타냅니다. 이는 압축된 모델이 모든 작업에서 동일하게 작동한다는 의미는 아닙니다. 일부 기능은 다른 기능보다 더 높은 정확도를 유지할 수 있으며, 이것이 독립적인 평가가 중요한 이유입니다.

그럼에도 불구하고, 이전 Bonsai 버전의 약 95% 유지율에서 Bonsai 2를 사용한 98.2%로 향상된 것은 주목할 만한 보고된 개선 사항입니다.

독립적인 테스트가 이러한 결과를 확인한다면, 이전에 상당한 하드웨어를 필요로 했던 모델들을 로컬에서 실행하는 것이 훨씬 더 실용적으로 만들 수 있습니다.

압축에 대한 진정한 테스트는 모델이 얼마나 작아지느냐가 아닙니다. 그 감소 속에서도 유용한 기능의 얼마나 많은 부분이 살아남았는지입니다.
[quote @Oluwaphilemon1: Qwen3.8-35B-A3B가 12GB VRAM과 16GB 시스템 RAM만으로 RTX 3060에서 초당 약 50 토큰(tokens/s)을 생성하는 것으로 보고되었습니다.

같은 설정은 프롬프트 처리 시 초당 약 550 토큰(tokens/s)을 제공하는 것으로 보고되었습니다.

구성은 다음과 같습니다:
GPU: RTX 3060, 12GB VRAM
시스템 RAM: 16GB
양자화(Quantization): Q4_K_M
생성 속도: ~50