설정: RX 9070 XT (16GB VRAM), llama.cpp를 통해 Bonsai 27B의 가장 작은 ternary 양자화(quant) 버전을 직접 실행.

테스트 내용: 일반적인 채팅을 넘어, 구조화된 코드 변경을 위해 제가 사용하는 에이전트 워크플로우 (agentic workflow)에서 도구 호출 (tool calling)을 시도했습니다 (기본적으로 모델에 사양을 제공하고 도구 호출을 통해 편집을 적용하게 하는 방식). 특별한 것은 아니며, 합성 벤치마크 (synthetic benchmark)가 아닌 실제 도구 사용 (tool-use)을 테스트했습니다.

결과: 가중치당 약 1.7 비트 (bits per weight)인 ternary 모델임에도 불구하고, 일반적인 추론 (reasoning) 능력은 기대보다 더 잘 유지되었습니다. 도구 호출 (tool calling)은 작동했지만, 진행 과정에서 여러 번의 구문 오류 (syntax errors)가 발생했으며, 아직 감독 없이 신뢰하기에는 무리가 있는 수준이었습니다.

여전히 부족한 점: 진지한 에이전트 용도로 신뢰할 수 있으려면 한 번 더 개선 단계가 필요해 보입니다. 그럼에도 불구하고, 이 정도로 압축된 모델이 일관된 262K 컨텍스트 (context)를 유지하고 실제 도구 호출 루프에서 작동한다는 사실은 단순한 벤치마크 수치가 아닌 진정한 이정표 (milestone)처럼 느껴집니다. CLI가 아닌 저만의 툴링을 통해 실행 중이라 아직 순수 토큰 생성 속도 (tok/s)는 측정하지 않았습니다. 혹시 AMD/RDNA 관련 수치를 알고 계신 분이 있다면 비교해보고 싶습니다.