Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AMD RX 9070 XT 환경에서 PrismML의 Bonsai 27B ternary 양자화 모델을 실행한 후기입니다. 극도로 압축된 모델임에도 불구하고 도구 호출(tool calling)과 긴 컨텍스트 유지가 가능함을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기설정: RX 9070 XT (16GB VRAM), llama.cpp를 통해 Bonsai 27B의 가장 작은 ternary 양자화(quant) 버전을 직접 실행.
테스트 내용: 일반적인 채팅을 넘어, 구조화된 코드 변경을 위해 제가 사용하는 에이전트 워크플로우 (agentic workflow)에서 도구 호출 (tool calling)을 시도했습니다 (기본적으로 모델에 사양을 제공하고 도구 호출을 통해 편집을 적용하게 하는 방식). 특별한 것은 아니며, 합성 벤치마크 (synthetic benchmark)가 아닌 실제 도구 사용 (tool-use)을 테스트했습니다.
결과: 가중치당 약 1.7 비트 (bits per weight)인 ternary 모델임에도 불구하고, 일반적인 추론 (reasoning) 능력은 기대보다 더 잘 유지되었습니다. 도구 호출 (tool calling)은 작동했지만, 진행 과정에서 여러 번의 구문 오류 (syntax errors)가 발생했으며, 아직 감독 없이 신뢰하기에는 무리가 있는 수준이었습니다.
여전히 부족한 점: 진지한 에이전트 용도로 신뢰할 수 있으려면 한 번 더 개선 단계가 필요해 보입니다. 그럼에도 불구하고, 이 정도로 압축된 모델이 일관된 262K 컨텍스트 (context)를 유지하고 실제 도구 호출 루프에서 작동한다는 사실은 단순한 벤치마크 수치가 아닌 진정한 이정표 (milestone)처럼 느껴집니다. CLI가 아닌 저만의 툴링을 통해 실행 중이라 아직 순수 토큰 생성 속도 (tok/s)는 측정하지 않았습니다. 혹시 AMD/RDNA 관련 수치를 알고 계신 분이 있다면 비교해보고 싶습니다.