LFM3는 전문 지능의 시작점이 되도록 설계된 차세대 리퀴드 파운데이션 모델(Liquid Foundation Models, LFMs)입니다. 이 모델은 텍스트, 비전(vision), 오디오, 오므니(omni), 의사 결정 모델을 하나의 공유 백본(shared backbone)에 통합했으며, 모든 것이 2B 매개변수 범위 내에서 작동합니다. 이는 사용자가 자신의 모달리티에 맞는 모델을 선택하고, 단일 GPU에서 자체 데이터로 파인튜닝(fine-tune)한 후, 애플리케이션이 실행되는 곳 어디든 배포할 수 있음을 의미합니다.
LFM3는 이전 LFM2 제품군과 비교하여 네 가지 주요 변화를 가져왔습니다:
- 매개변수당 더 높은 성능: 새로운 삼중 하이브리드 아키텍처(tri-hybrid architecture)와 학습 방식 덕분에, LFM3-1.7B는 35% 적은 매개변수를 사용하면서도 LFM2.5-2.6B보다 뛰어난 성능을 발휘합니다.
- 하나의 백본에 모든 모달리티: LFM3-1.7B-Base를 기반으로 훈련된 여섯 개의 2B급 모델(텍스트, 비전, 오디오, 오므니, 의사 결정)이 포함되며, 여기에는 최초의 오므니 모델과 비전 모델을 위한 비디오 입력 기능도 포함됩니다.
- 엣지 환경에 최적화: 이 텍스트 모델은 4비트 정밀도에서 약 1GB 크기로 들어갈 수 있으며, 새로운 사내 비전 및 오디오 인코더(encoder)가 처리 속도를 높이고, 텍스트 모델의 256K 컨텍스트 창(context window) 덕분에 에이전트가 온디바이스(on-device)에서 실행될 수 있습니다.
- 특화되도록 설계됨: 모든 모델은 단일 GPU에서 파인튜닝되므로, 사용자의 데이터, 용어, 배포 환경에 맞게 적응시킬 수 있습니다.
LFM2는 짧은 컨볼루션(short convolutions)과 어텐션(attention)의 하이브리드가 품질 저하 없이 온디바이스에서 빠르게 실행될 수 있음을 보여주었습니다. LFM3를 위해, 우리는 에이전트 사용 사례에 더 많은 매개변수당 성능과 긴 컨텍스트에 대한 빠른 추론(fast inference over long contexts)이 필요한 부분을 위해 하드웨어 인 더 루프 아키텍처 검색(hardware-in-the-loop architecture search)을 사용하여 해당 아키텍처를 재설계했습니다. 이 검색은 현재 휴대폰 및 Raspberry Pi 5부터 노트북, 클라우드 CPU/GPU, 그리고 Qualcomm Hexagon NPU에 이르기까지 총 14가지 장치 및 백엔드 조합을 다룹니다.
LFM3-1.7B-Base는 24개의 레이어와 네 가지 주요 변화를 가지고 있습니다:
삼중 하이브리드 레이어 혼합(Tri-hybrid layer mix): 13개의 게이팅된 단기 컨볼루션, 256 토큰 창을 가진 5개의 슬라이딩 윈도우 어텐션(SWA) 레이어, 그리고 6개의 글로벌 어텐션 레이어로 구성됩니다. 이 컨볼루션은 커널 크기가 7이며, LFM2의 3에서 증가했습니다.헤드별 게이팅된 어텐션(Head-wise gated attention): 시그모이드 게이트가 각 헤드의 출력을 조정하여, 해당 헤드가 추가할 내용이 없을 때 스스로 비활성화될 수 있게 합니다. 이는 양자화에 문제를 일으키는 활성화 아웃라이어(activation outliers)를 억제하는 데 도움이 됩니다.부분 RoPE(Partial RoPE): 글로벌 어텐션 레이어는 각 헤드의 최고 주파수 절반만 회전시키므로, 나머지 절반은 거리에 관계없이 내용 면에서 일치합니다. SWA 레이어는 전체 RoPE를 유지합니다.샌드위치 정규화(Sandwich norm): 각 블록이 입력과 출력을 모두 정규화하여 활성화가 잘 스케일링되도록 유지합니다.
그 효과는 긴 컨텍스트에서 나타납니다. 매개변수당, LFM3-1.7B는 엣지 디바이스(edge devices)에서 짧은 프롬프트에 대해 LFM2-1.2B와 일치하며, 컨텍스트가 8K 토큰일 경우 약 25% 더 빠릅니다. LFM3-1.7B-Base는 LFM2.5-8B-A1B와 동일한 128K 어휘사전을 사용하여 22T 토큰으로 사전 학습되었습니다. 최종 3.5T 토큰은 에이전트 추적(agentic traces) 및 도구 호출(tool calls)의 비중이 더 높은 선별된 데이터로 진행된 중간 학습 단계이며, 이 과정에서 컨텍스트 창을 256K 토큰까지 확장했습니다.
모든 LFM3 모델은 LFM3-1.7B-Base에서 파생됩니다. 하나의 대규모 범용 모델을 실행하는 대신, 입력에 맞는 모델을 선택하고 사용자 정의하여 온디바이스(on-device)로 실행할 수 있습니다.
| Model | Input | Output | Built on |
|---|
| LFM3-1.7B | Text | Text | LFM3-1.7B-Base |
| ... | | | |
비전 및 오디오 모델 역시 두 가지 새로운 사내 인코더를 갖게 되었습니다:
비전 인코더(Vision encoder): 컨볼루션과 어텐션을 결합했으며 이전 LFM VL 모델의 SigLIP2 인코더보다 연산량을 3배 적게 사용합니다. 1억 6,400만 개의 파라미터를 가진 저희 인코더는 정확도 면에서 Qwen3.5-2B의 비전 인코더와 일치하며, 더 적은 FLOPs(두 모델 모두 동일한 LFM2.5-230M 언어 백본으로 측정)를 요구합니다. 비디오의 경우, 샘플링된 프레임 쌍 각각을 하나의 시간적 슬라이스에 임베딩하여 시간적 시퀀스 길이를 절반으로 줄입니다.오디오 인코더 및 LiquidCodec: 오디오 인코더는 슬라이딩 윈도우 어텐션과 짧은 컨볼루션을 혼합했으며 완전히 순차적(fully causal)이므로, 사용자가 말하는 동안 모델이 프리필(prefill)할 수 있으며 첫 토큰까지 걸리는 시간(time to first token)이 50ms까지 낮습니다. 저희의 새로운 오디오 토크나이저인 LiquidCodec은 생성된 토큰을 Apple M4 Max의 단일 CPU 스레드에서 약 87배의 실시간 속도로 음성으로 변환하며 스트리밍 디코딩을 지원합니다.
각 모델은 transformers에서 실행됩니다.
아래 스니펫들은 모델 카드에서 가져온 것이며, 각 모델이 지원하는 다른 추론 엔진 목록도 함께 제공됩니다.
로컬 에이전트(local agents), 도구 호출(tool calling), 구조화된 출력(structured outputs) 또는 도메인별 미세 조정(domain-specific fine-tuning)의 기반으로 LFM3-1.7B를 사용해야 할 때 활용하십시오. 이 모델은 Hermes Agent, Pi, OpenClaw와 같은 에이전트 하네스에서 실행되도록 사후 훈련되었습니다. 파라미터가 35% 적어 이전 버전인 LFM2.5-2.6B보다 성능이 우수하며, 특히 에이전트 작업에서 가장 큰 개선을 보입니다: WebArena-Verified에서는 38.42점을 기록하여 3.02점과 비교되며, 브라우저 및 비즈니스 앱의 장기 작업에서도 Qwen3.5-9B를 능가합니다. 더 자세한 내용은 LFM3-1.7B 모델 카드에서 확인할 수 있습니다.
LFM3-1.7B를 실행하려면 transformers의 최신 버전을 설치하십시오:
pip install -U transformers
그런 다음 모델을 로드하고 실행합니다:
from transformers import pipeline
generator = pipeline(
"text-generation",
...
로컬 에이전트 설정을 보려면 Agent Harnesses 가이드를 참조하십시오.
온디바이스(on-device) 시각적 이해가 필요할 때는 LFM3-VL-2B를 사용하세요. 이는 비디오를 입력으로 받는 최초의 LFM Vision 모델이며, 답변을 내놓기 전에 단계별로 추론하고 사물을 찾으며 그 배치에 대해 추론하는 능력을 갖추고 있어 로보틱스 분야에 강력한 기반이 됩니다. LFM2.5-VL-3B와 비교했을 때 파라미터 수는 더 적지만(3.1B 대비 1.9B), 62개 Vision 벤치마크의 평균 점수를 57.6점에서 71.4점까지 향상시켜, 그보다 6배 이상 큰 모델인 Gemma 4 12B와 동등한 수준을 보여줍니다. 자세한 내용은 LFM3-VL-2B 모델 카드에서 확인할 수 있습니다.
LFM3-VL-2B를 실행하려면 Vision 의존성을 포함하여 transformers>=5.21.0을 설치하세요:
pip install "transformers>=5.21.0" torch torchvision pillow
그런 다음 모델을 로드하고 실행하세요:
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "LiquidAI/LFM3-VL-2B"
...
Tool calling(도구 호출), tool search(도구 검색), 그리고 llama.cpp를 사용한 온디바이스 추론에 대한 내용은 LFM3-VL-2B 모델 카드를 참조하세요.
음성 채팅, 음성 인식(speech recognition), 음성 합성(speech synthesis) 또는 18개 언어에 걸친 번역이 노트북이나 엣지 디바이스에서 필요할 때는 LFM3-Audio-2B를 사용하세요. 이 모델은 텍스트나 오디오를 입력으로 받아 텍스트, 음성 또는 둘 다로 응답하며, 말로 된 요청을 tool call(도구 호출)로 변환할 수 있습니다. LFM2.5-Audio-1.5B와 비교했을 때, 새로운 자체 개발 오디오 인코더 및 speech codec를 사용하고, 더 높은 품질의 음성(UTMOSv2 3.83 대 3.22)로 말하며, 오디오 이해, 범용 오디오 추론, 그리고 tool calling 기능을 추가했습니다. 자세한 내용은 LFM3-Audio-2B 모델 카드에서 확인할 수 있습니다.
LFM3-Audio-2B를 실행하려면 오디오 의존성을 포함하여 transformers>=5.20.2를 설치하세요:
pip install "transformers>=5.20.2" torch accelerate librosa soundfile
모델과 프로세서를 Hugging Face Hub에서 직접 로드하세요:
import torch
import soundfile as sf
from transformers import AutoModelForMultimodalLM, AutoProcessor
...
그런 다음 소리 내어 질문하고 텍스트와 음성으로 답변을 받으세요:
conversation = [
{"role": "system", "content": "Respond with interleaved text and audio."},
{"role": "user", "content": [{"type": "audio", "audio": "question.wav"}]}
...
LFM3-Audio-2B 모델 카드를 참조하여 실시간 음성 인식(live speech recognition), 음성 합성(speech synthesis), 오디오 이해(audio understanding), 그리고 도구 호출(tool calling) 기능을 확인하세요.
별도의 ASR 모델, 비전-언어 모델, LLM, TTS 모델을 대체할 수 있는 온디바이스 모델이 필요하다면 LFM3-Omni-2B를 사용하십시오. 이 모델은 이미지를 보고 듣고 말로 답할 수 있으며, 자신이 보고 들은 것을 도구 호출로 변환할 수 있습니다. 텍스트, 비전, 오디오 입력을 모두 지원하고 텍스트와 음성 출력을 모두 제공하는 최초의 '옴니(omni)' 모델이며, 시각적 질의응답(visual question answering), 음성 인식, 음성 합성, 지침 따르기 등 독립형 LFM3 모델의 핵심 기능을 유지합니다. LFM3-Audio-2B와 마찬가지로 LiquidCodec을 통해 음성을 출력하며, 이는 생성된 토큰을 실시간보다 빠르게 음성으로 변환하여 말하는 답변이 모델이 생성함과 동시에 스트리밍됩니다. 오디오-비주얼 비디오 이해 측면에서는 Daily-Omni, WorldSense, AV-SpeakerBench에서 Qwen2.5-Omni-7B와 같은 최대 10.7B 파라미터 모델을 능가합니다. 자세한 내용은 LFM3-Omni-2B 모델 카드를 참조하세요.
LFM3-Omni-2B를 실행하려면 다음 명령어로 transformers>=5.20.2와 그 비전 및 오디오 종속성을 설치해야 합니다:
pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile
import torch
import soundfile as sf
from transformers import AutoModelForMultimodalLM, AutoProcessor
...
그런 다음 음성으로 사진에 대한 질문을 해보세요:
conversation = [
{
"role": "system",
...
음성 출력, 사운드트랙이 있는 비디오, 그리고 도구 호출 기능은 LFM3-Omni-2B 모델 카드를 참조하세요.
생성된 텍스트 대신 빠르고 구조화된 의사결정이 필요할 때는 d1 모델을 활용하세요. 상황(지원 티켓, 송장, 앱 화면, 사진, 음성 메모)과 질문 목록을 제공하면, 이 모델들은 단일 순전파(single forward pass) 과정에서 각 질문에 대해 보정된 확률(calibrated probability)과 함께 모두 답변합니다. 예/아니오, 선택지, 점수 외에도 이제 객체를 지목하고, 문서에서 값을 읽고, 범위와 함께 숫자를 추정하며, 적용 가능한 모든 옵션을 선택할 수 있습니다. d1-2B 및 d1-omni-2B의 모델 카드를 참조하여 더 자세한 내용을 확인할 수 있습니다.
두 d1 모델 간 비교:
d1-2B: 텍스트, 사진 및 비디오에 사용합니다. 이 모델은 파라미터가 세 개 적은 d1-3B를 대체하며, 예를 들어 ImajevBench에서 64.0 대비 75.5로 네 가지 의사결정 스위트(decision suites) 모두에서 더 높은 점수를 기록했습니다.d1-omni-2B: 입력에 오디오가 포함되는 경우 사용합니다. 글이 아닌 음성으로 질문하더라도 거의 모든 정확도를 유지합니다.
d1-2B를 실행하려면 다음 비전 종속성을 포함하여 transformers>=5.19를 설치해야 합니다:
pip install "transformers>=5.19" torch torchvision pillow
그런 다음 d1-2B를 로드하고 단일 패스(single pass)로 하나의 지원 티켓에 대한 여러 질문을 할 수 있습니다:
import torch
from transformers import AutoModel
device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
...
간결함을 위해 d1-2B의 예제만 포함했습니다. 오디오 클립 및 음성 질문에 대해서는 d1-omni-2B 모델 카드를 참조하세요.
LFM3는 특화되도록 구축되었습니다. 최첨단(Frontier) 모델들은 강력한 범용성을 갖추고 있지만, 반드시 사용 사례의 전문가인 것은 아닙니다. LFM3는 작고 빠른 모델에 추가적인 용량(extra capacity)을 담아내어, 짧은 파인튜닝(fine-tune)만으로도 사용자 데이터, 전문 용어 및 도구를 활용하여 해당 작업에 대한 신뢰할 수 있는 전문가로 변모시킬 수 있습니다. 크기가 작기 때문에, 미세 조정된 모델을 애플리케이션이 실행되는 장치부터 사설 인프라, 클라우드까지 어디든 배포할 수 있습니다.
모든 모델은 단일 GPU에서 미세 조정(fine-tune)할 수 있으며, 이 노트북들은 데이터 준비부터 평가까지 텍스트, 비전, 오디오, 그리고 통합(omni) 모델에 대한 전체 작업을 안내합니다.
| 모델 | 방법 | 작업 | 노트북 |
|---|
| LFM3-1.7B | SFT | 지저분한 문서에서 구조화된 JSON 추출 | Colab에서 열기 |
| ... | | | |
| 우리는 LFM3-VL-2B를 오케스트레이션(orchestration), 내비게이션(navigation), 그리고 조작(manipulation)을 위한 세 가지 보완적인 로봇 공학 모델로 적용합니다. 오케스트레이터는 도구 호출(tool calls)을 통해 로봇 팔을 작동시킵니다: 객체를 가리켜 위치를 파악하고, 깊이 도구(depth tools)로 측정하며, 모션 플래너(motion planners)를 호출하고, 후속 카메라 이미지에서 결과를 확인합니다. 내비게이터는 최근 RGB 관찰을 사용하여 경로 설명을 따르며, 단 5개의 토큰만으로 공간적 목표와 웨이포인트 궤적을 예측합니다. 조작 VLA는 이미지, 언어, 그리고 로봇 상태를 단일 순방향 패스(forward pass)에서 8단계 연속 동작 청크로 매핑합니다. 15개 구현체(embodiments)에 걸쳐 공동으로 학습된 이 VLA는 네 가지 LIBERO 스위트 전반에 걸쳐 평균 96.2%의 성공률을 달성했으며, RoboCasa-GR1 테이블탑 작업에서는 45.7%를 기록했습니다. 또한 Jetson AGX Orin과 TensorRT FP16에서 50ms 미만으로 동작 청크를 생성합니다. 이러한 결과들은 LFM3-VL-2B가 고수준 계획부터 임베디드 하드웨어에서의 실시간 동작 생성까지 아우르는 로봇 공학을 위한 소형 기반 모델임을 강조합니다. | | | |
이 데모 비디오에서 LFM3-VL-2B가 지각(perception), 내비게이션, 그리고 조작을 처리하는 것을 확인하세요.
모든 LFM3 모델은 오픈 웨이트(open-weight)이며 오늘 Hugging Face에서 사용할 수 있습니다:
다운로드: 자체적인 사후 학습(post-training)을 위해 LFM3-1.7B-Base를 포함한 LFM3 컬렉션을 Hugging Face에서 다운로드하세요.
미세 조정 (Fine-tune): 미세 조정 노트북을 사용하여 LFM3를 사용자의 작업에 맞게 조정하세요.
하네스에서 사용: OpenClaw, Hermes Agent, Pi와 같은 로컬 에이전트를 실행하는 방법에 대한 가이드를 따르세요.
저희가 무엇을 구축할지 기대됩니다.
이 작업을 사용하신다면, 릴리스 블로그를 인용해 주십시오:
@article{liquidAI2026LFM3,
author = {Liquid AI},
title = {Introducing LFM3: Every Modality for Specialized Intelligence},
...
