Qwen 3.5 기반 Ternary Bonsai 2 Family: 2B, 4B, 9B

이 모델들이 다른 Bonsai 모델들처럼 루핑(looping) 동작을 하는지 확인해 보려고 합니다. 여전히 llama.cpp의 포크 버전(branch prism)이 필요하므로 일반적인 vanilla llama.cpp에서는 작동하지 않을 것으로 예상합니다. 수정: 일반 llama.cpp에서도 사용할 수 있습니다! AnythingLLM Mobile에서 LLama.rn 포크를 통해 지원할 방법이 있는지 알아볼 것입니다. 왜냐하면 이 모델들이 일반 Qwen 3.5 1.7B나 0.8B보다 나을 것이라고 기대하기 때문입니다. 오늘 최신 버전의 LocallyAI로 iOS에서 테스트해 볼 수 있을 것 같습니다. 이러한 모델들이 만들어진 방식(QAT?) 때문에 배포했을 때 상당히 다른, 높은 벤치마크를 가진 모델이 될 것 같은 느낌이 듭니다. 과거 경험상 파라미터 크기에는 메모리가 더 좋았지만, 한번 지켜보겠습니다. dFlash와 MTP도 지원하며, /u/tcarambat님이 제출한 [link] [comments]의 MLX 지원으로 TPS를 더 높일 수 있습니다.