Qwen3.8-27B가 55.6GB에서 5.9GB로 압축되었으며, 집계된 벤치마크 성능의 98.2%를 유지했다고 보고되었습니다.

Qwen3.8-27B 모델이 55.6GB에서 단지 5.9GB로 압축되었음에도 불구하고, 집계된 벤치마크 성능의 98.2%를 유지한 것으로 보고되었습니다.

이는 모델 크기가 89.4% 감소했음을 의미합니다. 압축된 버전은 원본보다 9배 이상 작습니다.

이 결과는 PrismML에서 개발한 압축 방식인 Bonsai 2에서 나왔습니다. 해당 팀에 따르면, 이 기술은 이전 세대보다 개선되었으며, 이전 세대는 원본 모델의 벤치마크 성능 중 약 95%를 유지했습니다.

보고된 수치는 다음과 같습니다:

• 원본 모델: 55.6GB
• Bonsai 2 버전: 5.9GB
• 크기 감소율: 89.4%
• 유지된 집계 성능: 98.2%
• 이전 Bonsai 세대: 약 95% 유지
• 평가 범위: 20개 벤치마크

흥미로운 질문은, 모델의 표현(representation)이 이처럼 작아졌을 때 27B 모델의 역량 중 얼마나 많은 부분이 살아남을 수 있느냐는 것입니다.

1. 압축 기술의 원리

Bonsai 2는 테르너리 양자화(ternary quantization)를 사용합니다.

전통적인 모델 가중치(model weights)는 매우 다양한 숫자 값을 표현할 수 있습니다. 이 값들을 수십억 개의 파라미터에 걸쳐 저장하려면 상당한 공간이 필요합니다.

테르너리 양자화는 가중치를 단 세 가지 가능한 상태(-1, 0, +1)로 매핑하는 보다 공격적인 접근 방식을 취합니다.

스케일링 팩터(Scaling factors)는 원본 가중치의 크기에 대한 정보를 보존하는 데 도움을 줍니다.

이를 통해 압축된 모델은 파라미터를 표현하기 위해 훨씬 적은 비트(bits)를 사용할 수 있게 됩니다.

문제는 모델 가중치가 단순히 저장 공간을 차지하는 숫자가 아니라는 점입니다. 이들 간의 관계가 모델이 지침을 따르고, 추론하고, 코드를 작성하며, 문제를 해결할 수 있도록 하는 패턴과 능력을 인코딩합니다.

정밀도를 너무 공격적으로 낮추면 유용한 정보가 사라질 수 있습니다.

따라서 목표는 단순히 모델을 작게 만드는 것이 아닙니다. 필요한 저장 공간을 줄이면서도 가능한 한 많은 학습된 행동(learned behaviour)을 보존하는 것입니다.

2. Bonsai 2로 무엇이 개선되었나?

PrismML에 따르면, 이전 Bonsai 세대는 Qwen3.8-27B의 집계 벤치마크 성능 중 약 95%를 유지했습니다.

Bonsai 2는 20개 벤치마크 전반에 걸쳐 이를 98.2%까지 높인 것으로 알려졌습니다.

팀은 또한 다음 영역의 개선 사항을 강조했습니다:

• 코딩 에이전트(Coding agents)
• 멀티모달 추론(Multimodal reasoning)
• 장기 지평 도구 사용(Long-horizon tool use)

이러한 기능들은 단 하나의 정답을 맞히는 것 이상의 것을 포함하기 때문에 주목할 가치가 있습니다.

예를 들어, 코딩 에이전트는 기존 저장소(repository)를 검사하고, 종속성(dependencies)을 이해하며, 변경 사항을 계획하고, 여러 파일을 편집하고, 테스트를 실행하고, 오류를 해석하여 구현을 수정해야 할 수 있습니다.

약점은 이러한 단계 전반에 걸쳐 축적될 수 있습니다. 고립된 코딩 질문에서 좋은 성능을 보이는 모델이라도 더 긴 개발 작업을 완료하는 데 어려움을 겪을 수 있습니다.

이것이 바로 에이전트 워크플로우(agent workflows)에서의 성능을 종합적인 벤치마크 유지율과는 별개로 검토할 가치가 있는 이유입니다.

3. 이것이 로컬 AI에 가져올 변화

27B 모델은 일반적으로 상당한 메모리를 필요로 하며, 이는 소비자급 하드웨어(consumer hardware)에서 로컬 배포를 어렵게 만들 수 있습니다.

5.9GB의 압축된 표현은 이 크기의 모델을 배포하고 실험하는 장벽을 낮출 수 있습니다.

잠재적인 응용 분야는 다음과 같습니다:

• 제한된 VRAM을 가진 소비자 GPU에서 더 큰 모델 실행.
• 메모리 제약이 있는 노트북에서 27B급 모델 테스트.
• 엣지 디바이스(edge devices)에 모델 배포.
• 동일한 서버 메모리 예산 내에서 더 많은 모델 호스팅.
• 클라우드 API 의존도를 낮춘 로컬 AI 애플리케이션 구축.

코딩 에이전트를 실험하는 개발자들에게 이는 처음부터 값비싼 하드웨어가 필요하지 않으면서도 더 유능한 모델을 테스트하기 쉽게 만들 수 있습니다.

4. 한 가지 중요한 구분점

5.9GB라는 수치는 추론(inference)에 필요한 총 메모리가 아니라 압축된 모델 파일 크기를 나타냅니다.

모델을 실행하려면 여전히 KV 캐시(KV cache), 활성화 값(activations), 추론 버퍼 및 기타 런타임 오버헤드에 필요한 메모리가 필요합니다.

실제 요구 사항은 컨텍스트 길이(context length), 동시성(concurrency), 추론 엔진, 그리고 압축된 형식에 대한 하드웨어 지원 여부에 따라 달라질 것입니다.

98.2%라는 수치 역시 비슷한 주의가 필요합니다. 이는 20개의 벤치마크에 걸친 종합적인 결과일 뿐이며, 모든 개별 작업이 원래 모델의 능력 중 정확히 98.2%를 유지한다는 보장은 아닙니다.
[인용문 @Oluwaphilemon1: Qwen4-27B를 기대하며, Qwen3.8-27B가 이미 무엇을 할 수 있는지 살펴보겠습니다.]

AJ는 llama.cpp를 사용하여 언락된(unlocked) RTX 3090에서 Unsloth UD-Q4_K_M 양자화(quant) 모델을 로컬로 실행했습니다.

과제는 단일 턴(single turn)으로 완전한 Three.js 장면을 구축하는 것이었습니다. 하네스(harness), 외부 도구, 다중 에이전트 워크플로우가 전혀 없었습니다. 오직 하나의 프롬프트만 사용했습니다.]