LFM2.5-24B-A2B: 온디바이스에서 빠르고 사적인 에이전트 구동을 위한 24B 매개변수 추론 모델

LFM2.5-24B-A2B는 단 2B개의 활성 매개변수로 구현된 24B 매개변수 규모의 추론(reasoning) 모델로, 온디바이스에서 빠르고 사적인 에이전트를 구동하도록 설계되었습니다. 이 모델은 답변하기 전에 생각하고, 도구를 호출하며, 인기 있는 에이전트 하네스 내에서 다단계 작업을 처리합니다. 토큰당 활성 매개변수가 2B에 불과하므로, 각 추론 토큰의 비용이 저렴하여 자체 하드웨어에서 에이전트를 지속적으로 구동할 수 있습니다.

최고 수준의 에이전트 성능: 총 및 활성 매개변수가 약 50% 더 많은 모델인 Qwen3.6-35B-A3B와 비교했을 때, 에이전트 작업 및 도구 사용 작업에서 경쟁력을 갖추며 LiveClaw에서 48.09점을 기록하여 38.19점보다 높습니다.
MoE 속도의 추론: 답변하기 전에 항상 생각합니다. 토큰당 활성 매개변수가 2B에 불과하여, 각 추론 토큰의 비용이 저렴합니다.
효율적인 추론: Apple M5 Max에서 초당 184개의 토큰(tok/s)을 달성하며, 단일 NVIDIA B300 GPU에서는 최대 초당 21K 개의 출력 토큰(output tok/s)을 처리할 수 있습니다.

LFM2.5-24B-A2B는 LFM2-24B-A2B를 기반으로 하며 아키텍처를 유지합니다: 40개의 레이어, top-4 라우팅이 적용된 MoE 블록당 64개의 전문가(experts), 그리고 게이티드 단편 컨볼루션(gated short convolutions)과 GQA의 하이브리드 구조입니다. 컨텍스트 창은 32K에서 131K 토큰으로 증가했으며, 인플레이스 토크나이저 확장(in-place tokenizer expansion)을 통해 어휘 크기는 65K에서 128K 토큰으로 두 배가 되어 비라틴어 토크나이징 성능이 향상되었습니다. 이전 모델과 달리, 이 모델은 최종 답변 전에 명시적인 사고의 사슬(chain of thought)을 생성하는 추론 전용 모델입니다.

사전 학습(Pre-training) 규모는 약 17T에서 약 33T 토큰으로 확장되었습니다. 중간 학습(Mid-training) 단계에서는 32K 컨텍스트에서 추론, 수학, 코드, 명령어 따르기 및 다국어 텍스트에 가중치를 두고 2T 토큰을 추가하고, 131K 컨텍스트에서는 장문 컨텍스트 데이터에 가중치를 두고 300B 토큰을 추가합니다. 도구 호출(Tool calls)과 멀티턴 궤적(multi-turn trajectories)은 두 단계 전반에 걸쳐 나타납니다. 사후 학습(Post-training)을 통해 기본 모델이 다섯 단계를 거쳐 에이전트로 변환됩니다:

지도 미세 조정 (SFT)교사 전문화다중 도메인 온정책 증류 (MOPD), 비에이전트적: 비에이전트적 작업에서 전문 교사를 증류합니다.MOPD, 에이전트적: 에이전트적 작업을 중점적으로 다루는 두 번째 증류 단계입니다.에이전트적 강화 학습 (Agentic RL): OpenClaw, Hermes Agent, Pi, OpenCode와 같은 에이전트 하네스 내부에서 모델을 훈련합니다.

저희는 LFM2.5-24B-A2B를 Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning와 비교하여 도구 사용 및 에이전트 워크플로우, 지식, 명령어 따르기, 수학, 코딩을 다루는 16개 벤치마크에서 평가했습니다. 이 모델은 그룹에서 가장 작은 크기임에도 불구하고, 총 파라미터와 활성 파라미터가 약 50% 더 많은 MoE(Mixture-of-Experts) 모델들과 경쟁할 수 있는 성능을 보여줍니다.

*모든 모델은 vLLM을 사용하여 각 벤치마크에서 권장되는 생성 매개변수를 적용하여 평가되었습니다.

앱에서 필요한 강점은 도구 사용(tool use)과 명령어 추종(instruction following)입니다. LFM2.5-24B-A2B는 8개의 도구 사용 및 에이전트 관련 벤치마크 중 5개(AutomationBench, BFCLv4, ToolSandbox, LiveClaw, 그리고 τ³-Bench Banking)에서 경쟁 모델을 능가하거나 동등한 성능을 보이며, 특히 AutomationBench에서는 다음으로 좋은 모델보다 3배 이상 높은 점수를 기록합니다. 또한 세 가지 명령어 추종 벤치마크 모두에서 최고 성능을 달성했습니다. GPQA Diamond, HLE, AA-Omniscience와 같은 지식 기반 벤치마크나 SWE-Bench Verified (OpenCode) 및 SciCode와 같은 코딩 벤치마크에서는 더 큰 모델들이 우위를 점하므로, 지식 집약적인 작업 부하(workloads)의 경우 LFM2.5-24B-A2B를 검색(retrieval) 또는 웹 검색과 함께 사용하십시오.

이러한 결과들로 인해 LFM2.5-24B-A2B는 추론하고, 도구를 호출하며, 장치에서 안정적으로 실행되어야 하는 에이전트의 강력한 기반 모델이 됩니다.

LFM2.5-24B-A2B는 llama.cpp, MLX, vLLM, SGLang, ONNX를 포함하여 추론 생태계 전반에 걸쳐 출시 첫날부터 지원됩니다.

엣지 추론(Edge inference). LFM2.5-24B-A2B는 비교된 MoE 중 가장 빠른 모델로, M5 Max에서 초당 184 토큰, Ryzen AI Max+ 395에서 초당 114 토큰을 디코딩합니다. 이는 다음으로 좋은 모델보다 최대 1.7배 빠르면서도 메모리 사용량은 가장 적습니다.

GPU 추론(GPU inference). LFM2.5-24B-A2B는 해당 크기 클래스에서 가장 빠른 모델로, 단일 B300에서 높은 동시성으로 초당 21K 이상의 출력 토큰을 달성합니다.

추론하고, 도구를 호출하며, 장치에서 안정적으로 실행되는 에이전트가 필요할 때는 LFM2.5-24B-A2B를 사용하십시오.

transformers의 최신 버전을 설치하세요 ( transformers>=5.0.0과 호환):

pip install -U transformers

그런 다음 모델을 로드하고 실행합니다:

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_id =

포트는 사용 중인 서빙 백엔드에 따라 달라집니다: llama.cpp와 MLX는 `8080`을, vLLM은 `8000`을, SGLang은 `30000`을, 그리고 LM Studio는 `1234`를 사용합니다. OpenClaw 및 Pi 설정에 대한 모델 카드를 참조하고 전체 설정을 위한 가이드를 확인하세요. 비디오 예시는 릴리스 블로그에서 확인하실 수 있습니다.

LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base 모두 오픈 웨이트(open-weight)이며 오늘 Hugging Face에서 이용 가능합니다:

**다운로드:** Hugging Face에서 LFM2.5-24B-A2B-Base 및 LFM2.5-24B-A2B를 다운로드하세요.**사용 방법:** OpenClaw, Hermes Agent, Pi와 같은 로컬 에이전트를 실행하는 방법에 대한 가이드를 따르세요.**파인튜닝(Fine-tune):** 파인튜닝 튜토리얼을 사용하여 LFM2.5-24B-A2B를 사용자의 작업에 맞게 조정하세요.

여러분이 무엇을 만들지 기대됩니다.

본 연구를 활용하신다면, 다음 릴리스 블로그를 인용해 주시기 바랍니다:

@article{liquidAI202624BA2B,
author = {Liquid AI},
title = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
...