Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
liquidAI가 발표한 LFM3-1.7B는 삼중 하이브리드 아키텍처를 기반으로 하는 로컬 에이전트 및 전문 애플리케이션용 텍스트 모델입니다. 256K 토큰 컨텍스트 창을 가지며, 엣지 디바이스 구동에 최적화되었습니다. 또한 LFM3-VL-2B 등은 비디오/오디오를 포함한 멀티모달 이해 기능을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기https://huggingface.co/LiquidAI/LFM3-1.7B-GGUF
liquidAI에서 제공하는 LFM3-1.7B는 새로운 삼중 하이브리드 아키텍처(tri-hybrid architecture)를 기반으로 하는 로컬 에이전트 및 전문 애플리케이션을 위한 텍스트 모델입니다.
에이전트 학습(Agentic training): Hermes Agent, Pi, OpenClaw와 같은 에이전틱 하네스(agentic harnesses)를 위해 사후 훈련되었으며, 256K 토큰 컨텍스트 창을 가집니다.
엣지 디바이스용 설계: 4비트 정밀도에서 약 1GB의 메모리를 사용하므로 모든 휴대폰이나 노트북에 적합합니다.
전문화 가능하도록 제작됨: 빠른 싱글 GPU 파인튜닝(single-GPU fine-tuning)을 통해 모델을 사용자의 도메인, 형식 및 도구에 맞게 조정할 수 있습니다. LFM3 제품군에 대한 더 많은 정보는 릴리스 블로그 게시물에서 확인할 수 있습니다.
모델 상세 정보: LFM3 제품군은 기본(base), 텍스트(text), 비전(vision), 오디오(audio), 범용(omni), 의사 결정(decision) 모델을 포함합니다.
속성 사양 체크포인트: 사후 훈련된, 텍스트 전용 언어 모델
파라미터: 1.73B
아키텍처: 24개 레이어 (게이티드 단기 컨볼루션(gated short convolutions) 13개, 슬라이딩 윈도우 어텐션(sliding-window attention) 5개, 글로벌 어텐션(global attention) 6개)
컨텍스트 길이: 256K 토큰 (입력 + 출력)
어휘(Vocabulary): 128,000 토큰
언어: English, Arabic, Chinese, French, German, Italian, Japanese, Korean, Portuguese, Spanish, Vietnamese, Thai, Indonesian, Hindi, Russian, Polish
라이선스: LFM Open License v1.0
LFM3-1.7B는 로컬 에이전트, 도구 호출(tool calling), 구조화된 출력(structured outputs), 그리고 도메인별 파인튜닝을 위해 설계되었습니다. 지식 집약적인 작업에는 검색(retrieval) 또는 검색 기능을 사용하십시오. 크기가 작기 때문에 에이전틱 코딩(agentic coding)이나 복잡한 다단계 추론(complex multi-step reasoning)에는 권장되지 않습니다.
오늘 즐길 수 있는 더 많은 LFM3 모델: (처음에는 2개의 게시물을 만들 계획이었지만, 6개의 모델이 출시되었습니다)
https://huggingface.co/LiquidAI/LFM3-VL-2B
https://huggingface.co/LiquidAI/LFM3-VL-2B-GGUF
LFM3-VL-2B는 온디바이스(on-device) 시각 이해를 위한 비전-언어 모델(vision-language model)입니다. 텍스트, 이미지 및 비디오를 입력으로 받아 LFM3 언어 모델과 새로운 사내 비전 인코더(in-house vision encoder)를 결합합니다.
LFM3-VL-2B의 신규 기능: 비디오 이해: 비디오를 입력으로 받는 최초의 LFM 비전 모델입니다. 녹화된 강의, 휴대폰으로 촬영한 워크스루 또는 카메라 피드 클립에 대해 질문할 수 있습니다.
모델은 답변하기 전에 단계별로 추론합니다. 이는 수학, 차트, 다단계 문제와 같은 더 어려운 시각적 질문에 가장 도움이 됩니다. 공간 및 체화된 추론(Spatial and embodied reasoning): 모델은 물체를 찾아내고 그들이 서로 어떻게 배치되어 있는지에 대해 추론하며, 로봇 공학 애플리케이션을 위한 강력한 기반이 됩니다.
https://huggingface.co/LiquidAI/LFM3-Audio-2B LFM3-Audio-2B는 노트북 및 엣지 디바이스에서 로컬로 실행되는 작고 기능이 완벽한 오디오 모델입니다. 텍스트 또는 오디오를 입력받아 텍스트, 음성 또는 둘 다로 응답합니다.
음성 채팅(Voice chat): 큰 소리로 질문하고 텍스트와 음성으로 스트리밍 답변을 받습니다. 텍스트 전용 응답의 경우, 모델은 답변하기 전에 추론할 수 있습니다.
다국어 음성(Multilingual speech): 18개 언어에 걸쳐 음성을 전사(transcribe), 합성(synthesize) 및 번역합니다.
오디오 이해 및 추론(Audio understanding and reasoning): 녹음을 해석하고 그 안에 포함된 음성, 소리 및 이벤트에 대한 질문에 답변합니다.
도구 호출(Tool calling): 말로 된 요청을 앱과 장치를 제어하는 도구 호출로 변환하며, 이때 텍스트 또는 음성이 함께 사용됩니다. LFM3-Audio-2B는 사내 오디오 인코더와 LiquidCodec 오디오 토크나이저를 도입하여 LFM2.5-Audio 대비 음성 품질을 개선했습니다.
https://huggingface.co/LiquidAI/LFM3-Omni-2B LFM3-Omni-2B는 Liquid AI의 LFM3 제품군에서 최초로 출시된 범용(omni-modal) 모델입니다: 텍스트, 이미지, 비디오 및 오디오를 이해하고 텍스트와 음성으로 답변하는 단일 종단 간(end-to-end) 모델입니다.
온디바이스 사용에 최적화되었습니다: 하나의 모델이 별도의 ASR 모델, 비전-언어 모델, LLM, TTS 모델을 대체합니다.
모든 입력, 텍스트 또는 음성 출력: 목소리로 사진에 대해 질문하거나, 음성을 전사/번역하거나, 큰 소리로 채팅하거나, 비디오와 그 사운드트랙에 대한 질문을 함께 할 수 있습니다.
시청 및 청취를 동시에: 소리가 있는 비디오의 경우, 모델은 이를 동시에 보고 듣기 때문에 둘 다가 필요한 질문에 답변할 수 있습니다.
디바이스에 충분히 작음: 2.2B 파라미터로 설계되어 휴대폰, 노트북 및 기타 엣지 하드웨어에서 효율적으로 실행되도록 합니다.
https://huggingface.co/LiquidAI/d1-Omni-2B d1-Omni-2B는 LFM3-Omni-2B를 기반으로 구축된 텍스트, 사진 및 오디오용 의사결정(decision) 모델입니다. 토큰을 생성하지 않고 단일 순전파(forward pass) 과정에서 보정된 답변을 반환합니다. 네이티브 오디오: 클립과 음성 질문은 텍스트 및 사진과 동일한 과정을 거치며, 미확인 작업에서도 음성 질문은 작성된 질문 대비 0.5점 이내의 점수를 기록합니다. 분류를 넘어: 또한 스팬(span)과 함께 텍스트, 숫자, 날짜를 추출하고, 사진 속 객체를 위치시키며, 구간(interval)으로 수량을 추정할 수 있습니다. 밀리초 결정 시간: NVIDIA H100에서 결정당 5.8ms, AMD MI325X에서 3.7ms가 소요되며, 10초 클립의 경우 각각 12.4ms와 8.2ms가 걸립니다.
https://huggingface.co/LiquidAI/d1-2B d1-2B는 LFM3-VL-2B를 기반으로 구축된 텍스트, 사진 및 비디오용 의사결정 모델입니다. 토큰을 생성하지 않고 단일 순전파 과정에서 보정된 답변을 반환합니다. 최고 수준: 평균적으로 그리고 백여 개가 넘는 의사결정 벤치마크(decision benchmarks)를 포함하는 당사의 보드에서 오픈 d1 모델들을 선도하며, 크기는 d1-3B의 3분의 2 미만입니다. 분류를 넘어: 또한 스팬과 함께 텍스트, 숫자, 날짜를 추출하고, 사진 속 객체를 위치시키며, 구간(interval)으로 수량을 추정할 수 있습니다. 밀리초 결정 시간: NVIDIA H100에서 결정당 5.7ms, AMD MI325X에서 3.8ms가 소요되며, 한 번의 호출로 하나의 상태에 대한 모든 질문을 처리할 수 있습니다.
https://huggingface.co/LiquidAI/LFM3-1.7B-Base LFM3-1.7B-Base는 새로운 삼중 하이브리드 아키텍처(tri-hybrid architecture)를 기반으로 하는 로컬 에이전트 및 전문 애플리케이션용 텍스트 모델인 LFM3-1.7B의 사전 학습된 체크포인트입니다. 22T 토큰으로 사전 학습: 마지막 3.5T 토큰은 에이전트 추적(agentic traces) 및 도구 호출(tool calls)을 포함하는 중간 학습 데이터로 선별되었으며, 컨텍스트 창(context window)을 256K 토큰까지 확장합니다. 엣지 기기용 설계: 4비트 정밀도에서 약 1GB의 메모리를 사용하므로 모든 휴대폰이나 노트북에 적합합니다. 전문화되도록 제작됨: 지속적인 사전 학습 및 자체 사후 학습(post-training)을 위한 출발점입니다.
llama.cpp 지원이 병합되었습니다: https://github.com/ggml-org/llama.cpp/pull/31257 https://github.com/ggml-org/llama.cpp/pull/31252는 /u/jacek2023에 의해 제출되었으며, [링크]와 [댓글]을 통해 확인할 수 있습니다.