8GB VRAM 환경에서 Terminal-Bench 2.0을 이용한 Ternary-Bonsai-27B (2-bit) 및 Bonsai-27B

요약

8GB VRAM 환경에서 Ternary-Bonsai-27B(2-bit) 모델의 성능을 Terminal-Bench 2.0을 통해 테스트한 결과입니다. 2-bit 양자화 모델은 GPU 메모리 효율은 높으나, 기존 Qwen 모델 대비 정확도가 낮고 1-bit 모델은 에이전트 루프에서 불안정한 모습을 보였습니다.

핵심 포인트

• 2-bit Ternary-Bonsai-27B는 8GB VRAM에 탑재 가능하나 정확도는 낮음
• 1-bit 모델은 단순 프롬프트에는 작동하나 에이전트 루프에서 무한 생성 문제 발생
• 극단적 양자화는 작은 크기의 밀집 모델(Dense model) 대비 정확도 희생이 큼
• 테스트 환경: RTX 5070 Laptop 8GB, llama.cpp 포크 사용