Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LiquidAI가 개발한 LFM2.5-24B-A2B는 온디바이스 로컬 에이전트 및 도구 호출에 최적화된 텍스트 전용 추론 모델입니다. MoE 구조와 131,072 토큰의 긴 컨텍스트 창을 갖추고 있어 복잡한 다단계 지침 수행과 RAG 기반 워크플로우에 적합합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hacker Noon AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LFM2.5-24B-A2B는 LiquidAI에서 개발한 텍스트 전용 추론 모델로, 온디바이스(on-device)에서 작동하며 추론하고 도구를 호출하는 로컬 에이전트를 위해 구축되었습니다. 이 모델은 총 240억 개의 파라미터를 가지고 있으며, 토큰당 활성 파라미터는 24.5억 개입니다. MoE 블록당 64개의 전문가(experts)와 top-4 라우팅을 사용하는 mixture-of-experts 설계를 채택했습니다. 총 40개 레이어로 구성되어 있으며, 이 중 30개의 double-gated short-convolution 블록과 10개의 GQA 레이어로 이루어져 있습니다. 컨텍스트 창(context window)은 131,072 토큰이며, 모델은 36조 개의 토큰이라는 명시된 예산으로 학습되었습니다. 핵심적인 실용적 지점은 낮은 활성 파라미터 수가 생성을 효율적으로 만들 수 있지만, 24B 파라미터 모델을 로드하는 메모리 비용 자체를 제거하지는 않는다는 것입니다. 따라서 네이티브 체크포인트가 하드웨어에 맞지 않으면 양자화(quantized)되었거나 장치별(device-specific) 체크포인트를 선택해야 합니다. 이 모델은 ChatML과 유사한 템플릿을 사용하며, 어시스턴트 답변은 항상 특정 태그로 시작합니다. Transformers를 통해 사용할 수 있으며, vLLM, SGLang, llama.cpp, MLX, ONNX Runtime, LM Studio에서도 지원 목록이 제공됩니다. 모델 카드에는 2,565 다운로드가 보고되었는데, 이 수치는 품질이나 유지보수 수준을 측정하는 것이 아닌 스냅샷일 뿐입니다.
로컬 도구 사용 에이전트. 데이터베이스에서 기록을 확인하거나, 스케줄링 API를 호출한 다음, 그 결과를 사용자에게 요약하는 워크플로우에 사용할 수 있습니다. 이 모델은 에이전트 작업 부하(agentic workloads)를 위해 사후 학습되었으며 정의된 형식으로 도구 호출을 지원합니다. Liquid AI는 LiveClaw 점수 48.09를 보고했는데, 이는 Qwen3.6-35B-A3B의 38.19와 비교한 수치입니다. 이 점수는 공급업체에서 보고한 벤치마크 결과일 뿐이며 모든 에이전트 하네스나 도구 스키마에 대한 보장은 아닙니다.
다단계 지침 따르기 (Multi-step instruction following). 계획 수립과 여러 행동이 필요한 작업(예: 지원 요청 분류, 계정 세부 정보 조회 및 응답 초안 작성)에 적합합니다. 이 모델은 답변하기 전에 항상 추론하며, 후속 훈련에는 지도 미세 조정(supervised fine-tuning), 교사 특화(teacher specialization), 두 단계의 온정책 증류(on-policy distillation), 그리고 OpenClaw, Hermes Agent, Pi, 및 OpenCode에서의 에이전트 기반 강화 학습(agentic reinforcement learning)이 포함되었습니다. 이러한 훈련은 에이전트 상호 작용을 목표로 하지만, 모든 계획이나 도구 호출이 정확할 것이라고 보장하지는 않습니다.
검색 증강 질문 답변 (Retrieval-augmented question answering). 검색 인덱스나 웹 검색과 결합하여 현재 또는 사적인 자료의 질문에 답하는 데 사용할 수 있습니다. 예를 들어, 정책 문서를 찾아 특정 사례에 어떻게 적용되는지 설명할 수 있습니다. 모델 카드에서는 지식 집약적 작업에 대해 이 모델만 의존하는 것을 명시적으로 권장하지 않으며 검색(retrieval) 또는 웹 검색을 추천합니다. 도구 호출 능력 덕분에 답변 생성 전에 증거를 가져올 수 있는 시스템에 적합합니다.
긴 컨텍스트 문서 워크플로우 (Long-context document workflows). 131,072 토큰의 컨텍스트 창은 긴 보고서 검토, 섹션 비교 또는 대화에서 실행 항목 추출과 같은 작업을 지원합니다. 이 모델의 훈련에는 131K 컨텍스트에서 300B 토큰의 장기 컨텍스트 데이터가 포함되었습니다. 큰 컨텍스트 제한이 모든 장문 작업이 정확할 것이라고 보장하는 것은 아니며, README에는 장기 컨텍스트 벤치마크 결과가 제공되지 않습니다.
다양한 디바이스 유형에서의 로컬 추론 (Local inference across different device types). 사용 가능한 체크포인트 형식은 다양한 배포 환경을 목표로 합니다. llama.cpp 및 CPU 추론용 GGUF, Apple Silicon용 MLX 4-bit, GPU 서비스용 FP8, 그리고 크로스 플랫폼 배포용 ONNX입니다. 모델 카드에 따르면 Apple M5 Max에서는 초당 184 토큰, 단일 NVIDIA B300 GPU에서는 최대 초당 21K 출력 토큰을 보고합니다. 이는 보고된 수치이며, README에는 전체 벤치마크 설정, 배치 크기 또는 프롬프트 길이가 명시되어 있지 않습니다.
이 모델은 사실적 지식의 독립적인 출처로 권장되지 않습니다. 훈련 예산(training budget)이 크지만, 모델 카드에서는 여전히 지식이 많은 작업에는 검색(retrieval) 또는 웹 검색을 추천합니다. 또한 추론(reasoning), 도구 선택(tool selection), 논거 형식 지정(argument formatting), 또는 도구 결과 해석에서 실수를 할 수 있으며, 제공된 자료는 이러한 실패율을 정량화하지 않습니다.
이 모델은 답변하기 전에 항상 추론을 수행합니다. 이 동작은 비록 모델이 토큰당 2.45B의 활성 파라미터(active parameters)만 사용하더라도 출력 토큰과 지연 시간(latency)을 증가시킬 수 있습니다. README에는 추론 기능을 비활성화하거나 다양한 프롬프트 길이에 대한 측정된 지연 시간을 제공하는 지원되는 방법이 설명되어 있지 않습니다.
131,072-토큰 컨텍스트 한계는 최대치일 뿐이며, 모든 배포 환경에서 사용 가능한 메모리 내 또는 허용 가능한 지연 시간으로 그만큼의 컨텍스트를 처리할 수 있다는 보장은 아닙니다. 네이티브 체크포인트에 대한 VRAM 요구 사항, 최소 시스템 RAM, 배치 크기(batch-size) 가이드라인, 또는 메모리 벤치마크가 제공되지 않습니다. 보고된 속도 수치는 다른 장치에서의 성능을 예측하기에 충분한 하드웨어 및 워크로드 세부 정보를 포함하고 있지 않습니다.
이 모델은 텍스트 전용입니다. 제공된 모델 세부 정보에 따르면 이미지, 오디오 또는 비디오 입력을 받지 않습니다. 라이선스는 other로 명시되어 있습니다.
; 제공된 정보는 상업적 사용 조건이나 기타 라이선스 조건을 명시하지 않으므로, 배포 전에 체크포인트의 라이선스 약관을 확인하십시오. 모델 카드에는 지원되는 언어가 나열되어 있지만, 언어별 품질 점수나 편향 및 안전 평가를 제공하지 않습니다. 또한 특정 작업을 위해 이 모델을 대체하는 새로운 모델도 식별하지 않습니다.
LFM2-24B-A2B. LFM2.5-24B-A2B를 선택하십시오.
더 새로운 추론 및 에이전트 중심의 후처리(post-training), 131K 컨텍스트 창, 그리고 128K 어휘집을 원할 때입니다. 제공된 비교는 이전 모델을 24B MoE에 2B 활성 파라미터, 32K 컨텍스트 창, 65K 어휘집으로 설명하며, AMD CPU에서 초당 112 토큰, H100에서 초당 293 토큰을 보고하고 있으며, 32 GB RAM 배포 목표를 제시합니다. LFM2-24B-A2B를 선택하세요.
이전 체크포인트와 문서화된 배포 프로파일이 사용자의 환경에 더 잘 맞을 때입니다. 제공된 자료는 두 모델 간의 직접적인 품질 또는 비용 비교를 제공하지 않습니다.
LFM2.5-8B-A1B. LFM2.5-24B-A2B를 선택하세요.
더 큰 모델과 보고된 LiveClaw 결과를 원하고 24B 파라미터 체크포인트의 메모리 비용을 감당할 수 있을 때입니다. LFM2.5-8B-A1B를 선택하세요.
작은 온디바이스(on-device) 모델이 더 적합할 때입니다: 이 설명은 개인 비서 사용, 도구 체이닝(tool chaining), 그리고 크기 클래스에서의 처리량에 중점을 둡니다. 제공된 정보는 이 두 모델의 비교 가능한 벤치마크 점수, 하드웨어 요구 사항 또는 가격을 제공하지 않으므로 어느 것이 특정 작업에 더 빠르거나 좋다고 확정할 수 없습니다.
LFM2.5-8B-A1B-Base. LFM2.5-24B-A2B를 선택하세요.
명시된 추론 및 도구 사용 초점이 필요한 후처리된 24B 에이전트 모델입니다. 기본 체크포인트에서 시작하는 워크플로우에 기본 모델이 필요할 때는 8B 기본 체크포인트를 선택하세요. 제공된 설명은 이를 LFM2.5 제품군의 일부로 식별하지만, 상세한 기본 모델 사양이나 직접적인 성능 비교는 제공하지 않습니다.
LFM2-8B-A1B. LFM2.5-24B-A2B를 선택하세요.
더 새로운 모델의 131K 컨텍스트 및 에이전트 중심 후처리가 필요할 때입니다. LFM2-8B-A1B를 선택하세요.
작은 엣지(edge) 모델이 더 나은 배포에 적합할 때입니다: 이 설명은 총 파라미터 8.3B와 활성 파라미터 1.5B를 보고하며, 그 품질을 3–4B 밀집(dense) 모델과 비교 가능하고 속도를 Qwen3-1.7B보다 빠르다고 특징짓습니다. 이러한 주장은 LFM2.5-24B-A2B와의 직접적인 비교는 아닙니다.
LFM2-24B-A2B-GGUF. 최신 모델의 추론 및 에이전트(agent) 후처리 학습(post-training)이 필요할 때는 LFM2.5-24B-A2B를 선택하세요. 반면, llama.cpp에서 양자화된 형식으로 이전 모델을 특정하게 사용해야 할 경우에는 LFM2-24B-A2B의 GGUF 체크포인트를 선택합니다. 이 체크포인트에 대한 설명에는 CPU 및 GPU 디코딩 속도와 32 GB RAM 목표가 보고되어 있습니다. 제공된 자료는 이 GGUF 체크포인트와 최신 모델의 GGUF 변형 간의 직접적인 품질, 속도 또는 비용 비교를 제공하지 않습니다.
LFM2.5-24B-A2B는 범용 텍스트 전용 추론 모델입니다. 이 모델은 LFM2-24B-A2B 아키텍처를 유지하면서, 인플레이스 토크나이저 확장(in-place tokenizer expansion)을 통해 컨텍스트 창(context window)을 32K에서 131K 토큰으로 확장하고 어휘 크기(vocabulary)를 65K에서 128K로 확장하여 비라틴어 토큰화를 개선하는 것을 목표로 합니다.
파라미터 (Parameters): 총 24.0B; 활성 2.45B.
아키텍처 (Architecture): 40개 레이어: 더블 게이팅 쇼트 컨볼루션 블록(double-gated short-convolution blocks) 30개와 GQA 레이어 10개로 구성됩니다. 각 MoE 블록은 top-4 라우팅을 가진 64개의 전문가(experts)를 가집니다.
학습 (Training): 학습 예산으로 36조 토큰이 명시되었습니다. 학습 설명에 따르면, 이전 모델의 약 17조에서 증가한 약 33조의 사전 학습(pre-training) 토큰과 32K 컨텍스트에서의 2조 중간 학습(mid-training) 토큰, 그리고 131K 컨텍스트에서의 300B 장문 컨텍스트 토큰이 제공됩니다. README에는 학습 단계나 컴퓨팅 하드웨어는 제공되지 않습니다.
중간 학습 데이터 초점 (Mid-training data focus): 추론(reasoning), 수학, 코드, 명령어 따르기(instruction following) 및 다국어 텍스트에 가중치를 둔 선별된 고품질 데이터입니다. 도구 호출(Tool calls)과 멀티턴 궤적(multi-turn trajectories)이 모두 중간 학습 단계에서 나타납니다.
후처리 학습 (Post-training): 지도 미세 조정(Supervised fine-tuning), 교사 전문화(teacher specialization), 두 가지 다중 도메인 온-정책 증류(two multi-domain on-policy distillation stages) (비에이전트적 1개, 에이전트적 1개), 그리고 OpenClaw, Hermes Agent, Pi, OpenCode에서의 에이전트 강화 학습(agentic reinforcement learning)을 거쳤습니다.
어휘 및 컨텍스트 (Vocabulary and context): 128,000 토큰; 131,072-토큰 컨텍스트 창.
지원 언어 (Languages listed): 영어(English), 아랍어(Arabic), 중국어(Chinese), 프랑스어(French), 독일어(German), 이탈리아어(Italian), 일본어(Japanese), 한국어(Korean), 포르투갈어(Portuguese), 스페인어(Spanish), 베트남어(Vietnamese), 태국어(Thai), 인도네시아어(Indonesian), 힌디어(Hindi), 러시아어(Russian), 폴란드어(Polish).
권장 생성 설정:
temperature: 0.1
,top_k: 50
,repetition_penalty: 1.05
**보고된 추론 속도:**동급 MoE(Mixture of Experts) 대비 온디바이스에서 최대 1.7배 빠르며, Apple M5 Max에서는 초당 184 토큰, NVIDIA B300 GPU 하나에서는 최대 초당 21K 출력 토큰을 지원합니다. README에는 벤치마크 조건이 명시되어 있지 않습니다.
**체크포인트 형식:**Transformers, vLLM, SGLang용 네이티브 체크포인트; GPU 서빙을 위한 동적 FP8 활성화가 적용된 블록별 FP8 가중치; llama.cpp 및 호환 도구를 위한 GGUF; 크로스 플랫폼 배포를 위한 ONNX Runtime 형식; 그리고 Apple Silicon용 MLX 4비트. SGLang과 함께 사용되는 추측 디코딩(speculative decoding)을 위한 DSpark 초안 모델은 곧 출시될 예정입니다.
**나열된 추론 프레임워크:**Transformers, vLLM, SGLang, llama.cpp, MLX, ONNX Runtime, 그리고 LM Studio를 지원합니다. 빠른 시작을 위해서는 transformers>=5.0.0이 필요합니다.
**입력 및 출력 규칙:**ChatML과 유사한 메시지 형식을 사용합니다. 도구 호출은 <|tool_call_start|>와 <|tool_call_end|> 마커를 사용하며, 기본적으로 Pythonic 함수 호출 구문을 따릅니다. 시스템 프롬프트에서 JSON 형식의 함수 호출을 요청할 수도 있습니다.
라이선스:other로 명시되어 있으며, 제공된 자료에는 조건을 명시하고 있지 않습니다.
**하드웨어 및 메모리:**이 모델에 대한 VRAM 또는 최소 RAM 요구 사항은 명시되어 있지 않습니다. README의 속도 주장은 일반적인 하드웨어 요구 사항을 추론하기에 충분한 세부 정보를 제공하지 않습니다.
텍스트 메시지:system과 user와 같은 역할을 가진 메시지 목록이며, 모델의 ChatML 유사 템플릿으로 형식화됩니다. 메시지를 형식화하려면 tokenizer.apply_chat_template()을 사용하십시오.
**도구:**도구 정의는 시스템 프롬프트 내 JSON 객체로 제공되거나, tools=...와 함께 tokenizer.apply_chat_template()에 전달될 수 있습니다.
**컨텍스트 제약:**이 모델은 최대 131,072 토큰의 컨텍스트 창을 지원합니다. 배포 환경에서의 사용 가능한 한계는 서비스 구성 및 사용 가능한 메모리에 따라 달라지며, README에는 하드웨어별 제한 사항이 없습니다.
모달리티 (Modalities): 텍스트 전용; 제공된 모델 상세 정보는 이미지, 오디오 또는 비디오 입력을 설명하지 않습니다.
Assistant text: 채팅 템플릿의 태그를 통해 추론이 시작되는 생성 응답입니다.
Tool calls: 기본적으로 <|tool_call_start|>와 <|tool_call_end|>로 둘러싸인 Python 함수 호출입니다. 모델은 JSON 함수 호출을 출력하도록 프롬프트될 수도 있습니다.
Tool results: 애플리케이션이 호출을 실행하고 tool 역할을 사용하여 그 결과를 반환합니다. 그러면 모델이 일반 텍스트 응답을 생성합니다. 애플리케이션은 도구 실행을 구현하고 반환된 데이터를 처리해야 합니다.
이 예제는 Transformers 5.0 이상을 사용하며, 사용자 메시지를 모델의 채팅 템플릿으로 형식화하고 생성되는 응답을 스트리밍합니다.
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
...
질문: LFM2.5-24B-A2B를 상업적으로 사용할 수 있나요?
답변: 모델 메타데이터에는 라이선스가 other로 나열되어 있지만, 제공된 정보에는 상업적 사용 조건이 명시되어 있지 않습니다. 상업용 제품에 사용하기 전에 체크포인트의 라이선스를 검토하십시오.
질문: 실행하는 데 어떤 하드웨어 또는 VRAM이 필요한가요?
답변: README에는 이 모델에 대한 최소 VRAM 또는 RAM 요구 사항이 없습니다. Apple M5 Max에서 초당 184 토큰, 단일 NVIDIA B300 GPU에서 초당 최대 21K 출력 토큰을 보고하지만, 벤치마크 조건이나 메모리 수치는 제공하지 않습니다.