AngelSlim/Hy3-GGUF를 hugging face에서 확인하세요 (저는 관련이 없습니다. 단지 테스트하는 것입니다). 저는 실제로 게시물을 올리는 사람은 아니지만, Hy3의 1bit 양자화(quant)가 생겼다는 것을 모두가 알기를 바랐습니다. 그리고 모델들이 점점 커지고 있어서 이것이 어떻게 작동하는지 테스트해 보고 싶었습니다. 이는 일반적인 iq1m 양자화이지만 압축하면 가장 작은 버전에서도 89 기가바이트에 달합니다. 그리고 주로 저는 모델들이 점점 더 커질 것이기 때문에, 가장 작은 버전이라도 얼마나 일관성이 있는지 보고 싶어서 테스트하고 있습니다. 솔직히 놀랍습니다. [IMG:N] [IMG:N] 여기는 이 모델로 만든 게임입니다. 그냥 순수한 Open WebUi에