Bonsai 모델들이 실제로 어느 정도 수준인지 궁금하여, 동일한 테스트 환경에서 이미 보유하고 있는 qwen-3.6-35b-a3b 및 qwen-3.5-9b의 결과와 비교하여 실행해 보았습니다. 다른 분들에게도 흥미로운 정보가 될 것 같아 공유합니다. 설정: harbor adapter를 통한 little-coder harness 사용, terminal-bench 2.0의 89개 태스크 전체, 단일 시도 (k=1), 40턴 제한, temperature 0.2. RTX 5070 Laptop 8GB, i9-14900HX, 32GB RAM, CUDA 13.1. 런타임은 PrismML의 llama.cpp 포크를 사용했습니다 (순정 llama.cpp는 2-bit 커널을 로드할 수 없습니다). 결과: 2-bit의 Ternary-Bonsai-27B는 7.9%를 기록했으며, Qwen3.5-9B는 9.2%, Qwen3.6-35B-A3B는 24.3%를 기록했습니다 (두 모델 모두 k=5 실행에 따른 시행당 평균값 기준). 1-bit Bonsai는 수치를 전혀 내놓지 못했습니다. 긍정적인 부분은 모든 모델이 실제로 GPU에 다 들어간다는 점입니다. 도구 호출 (Tool calling) 또한 깔끔했으며, 전체 실행 과정에서 파싱 에러 (parse errors)가 전혀 없었습니다. 부정적인 부분은 정확도입니다: 7.9%는 동일한 그래픽 카드에 완전히 들어가는 9B 모델보다도 낮은 수치입니다. 따라서 이 방식의 핵심적인 대가는 일반적인 양자화 (Quantization, Q4)를 적용한 더 작은 밀집 모델 (Dense model)을 실행하는 것에 비해 정확도를 희생해야 한다는 점입니다. 2-bit 모델이 해결한 7개의 태스크 중 35B 모델은 6개를 해결했습니다. 1-bit 모델은 에이전트 하네스 (Agent harness)에서 사용이 불가능합니다. 다만 간단한 프롬프트에는 괜찮습니다. 12*12는 144라고 답하며, 1007 토큰 내에 정확한 is_prime을 출력하고 깔끔하게 종료되었습니다. 하지만 에이전트 루프 (Agentic loop) 하에서는 첫 번째 태스크에서 14,000개 이상의 토큰을 생성하며 정지 토큰 (Stop token)을 내뱉지 못했고, 32k 컨텍스트를 다 쓸 때까지 횡설수설했습니다. 트레이스 (Traces)를 보면 사소한 프롬프트에서도 자기 검증 (Self-validation) 강박 증세를 보이며, 난이도가 높아짐에 따라 이것이 눈덩이처럼 불어나 종료되지 않는 현상으로 이어집니다. 이 점이 명확해진 후 실행을 중단했습니다. 혹시 더 많은 수치나 데이터가 필요하신 분이 있다면 기꺼이 공유하겠습니다!