LFM2.5-2.6B는 LiquidAI에서 출시한 새로운 초소형 모델로, 훨씬 더 큰 모델들과 대등하게 경쟁하는 벤치마크 성능을 보여줍니다. 저는 주어진 메모리 양에 대해 모델의 최적의 전반적인 양자화 (Quantization) 상태를 파악하기 위해, 다양한 모델 GGUF 양자화 (Quants)와 다양한 KV 캐시 양자화 (Quants)를 교차하여 llama-perplexity를 실행했습니다. 또한 서로 다른 양자화 지표들이 모델의 성능 저하를 어떻게 보여주거나(또는 숨기거나) 하는지도 보여줍니다. 전체 보고서 및 해설, 대화형 HTML 플롯(Interactive HTML plots). 읽을 시간이 없다면: 이 모델은 실질적인 성능 저하 없이 8GB Raspberry Pi에 탑재 가능하며, 4GB Raspberry Pi에서는 제한적인 성능 저하와 함께 탑재 가능합니다. Q4_K_M은 절대 사용하지 마십시오. 이 모델의 경우, 모델 양자화 (Model quant) 품질이 KV 캐시 양자화 (KV cache quant) 품질보다 더 빠르게 저하됩니다. Abliteration은 약 ~0.075 KLD의 고정된 비용이 발생합니다. 로그 KLD (Logarithmic KLD) 및 Top-1% 플롯은 품질 저하가 완만하다고 말하며 당신을 속이지만, 실제로는 절벽처럼 급격하게 일어납니다.