Pi Agent에서 LFM2.5-24B-A2B 모델 사용 후기

테스트를 위해 새로운 LFm2.5-24B-A2B LiquidAI 모델을 다운로드했습니다. 이들은 상당히 좋은 성능을 주장했고, 저는 이전 출시 제품들로도 좋은 경험을 했습니다. 배경 설명을 드리자면, 저는 Ornith 1.5-35B를 여러 워크플로우에서 매우 자주 사용합니다. 때로는 단독으로, 때로는 Pi Agent의 AI-Council 일부로 사용합니다. 이 모델은 매우 신뢰성이 높고, '더 똑똑한' 모델들이 놓치는 놀라운 통찰력을 제공하며, Pi에서 훌륭한 작업마(workhorse) 역할을 합니다. 제가 몇 가지 워크플로우에서 Ornith 대신 LFM 24B로 교체해 보았는데, 정말 잘 버티고 있습니다. 매우 빠릅니다 (~AMD W7900의 ROCM을 사용하는 llama.cpp 환경에서 지속적으로 약 95 tps). Q8은 전체 128k 컨텍스트를 사용할 때 30GB의 vram을 차지합니다. 기계적인 작업에서는 아직 저를 실망시킨 적이 없습니다. 계속해서 작동하고, 다른 GPU에서 더 크거나 똑똑한 모델과 함께 실행하는 '작은' 모델로서 모든 기준을 충족하는 것 같습니다. '통찰력'에 대해서는 제 컨설팅 모드 워크플로우에서 더 오래 테스트해야겠지만, 보고드리겠습니다. 이 모델에 대해 제가 $0.02 (CAD)를 드리자면—Pi와 함께 사용하기에 매우 유능하며 시간을 들여 확인해 볼 가치가 있습니다. 속도만으로도 좋은 업그레이드이며, 저의 좀 더 기본적인 작업들, 심지어 장시간 실행되는 재귀적(recursive) 작업에서도 아주 잘 버티고 있습니다. LiquidAI 팀에게 찬사를 보냅니다. 이 모델은 제 거대한 장비에서 많은 사용을 할 것 같습니다.