LiquidAI의 LFM2.5-24B-A2B 모델 소개

Gguf 버전: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-GGUF
무료 데모: https://playground.liquid.ai
"LFM2.5-24B-A2B는 240억 개의 파라미터를 가진 추론 모델이지만, 활성 파라미터는 단 20억 개만 사용하며 온디바이스에서 빠르고 사적인 에이전트 구축을 위해 설계되었습니다. 이 모델은 LFM2.5 제품군의 가장 크고 최종 버전으로, 이제 LFM2.5-230M부터 LFM2.5-24B-A2B까지 두 자릿수 규모에 걸쳐 확장되었습니다.

최고 수준의 에이전트 성능: 총 파라미터와 활성 파라미터가 약 50% 더 많은 모델인 Qwen3.6-35B-A3B와 비교했을 때, 에이전트 및 도구 사용 작업에서 경쟁력을 갖추며 LiveClaw 테스트에서 48.09점을 기록하여 38.19점보다 높은 점수를 받았습니다.

MoE 속도의 추론: 답변하기 전에 항상 생각합니다. 토큰당 활성 파라미터가 단 20억 개에 불과하여, 각 추론 토큰의 비용이 저렴합니다.

효율적인 추론: 온디바이스에서 비교 가능한 MoE 모델보다 최대 1.7배 빠르게 작동하며, Apple M5 Max에서는 184 tok/s, 단일 NVIDIA B300 GPU에서는 최대 21K output tok/s를 기록합니다.

LFM2.5-24B-A2B는 다음과 같은 특징을 가진 범용 텍스트 전용 추론 모델입니다:
총 파라미터: 24.0B
활성 파라미터: 2.45B
레이어 수: 40 (30개의 이중 게이트 단편 컨볼루션 블록 + 10개 GQA)
전문가(Experts): MoE 블록당 64개, top-4 라우팅
학습 예산: 36조 토큰
어휘 크기(Vocabulary size): 128,000
컨텍스트 길이(Context length): 131,072 토큰
지원 언어: 영어, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어, 베트남어, 태국어, 인도네시아어, 힌디어, 러시아어, 폴란드어
생성 파라미터: temperature: 0.1, top_k: 50, repetition_penalty: 1.05