LFM 2.6으로 이메일, 문자 메시지, 기타 메타데이터에 주석을 붙이고 있음. 모든 데이터를 하나의 거대한 데이터베이스로 수집하면서 RTX A4500에서 처리함. LFM으로 먼저 분류한 뒤, 신뢰도가 낮은 항목부터 상위 모델인 DeepSeek 4.1 Flash 1017로 조금씩 넘겨 주석을 개선함. 에이전트는 이 데이터베이스를 검색해 맥락을 얻을 수 있음.
현재 신뢰할 만한 주석을 얻는 비율은 전체 데이터의 40%를 조금 넘는 수준임. LFM 3는 상당히 발전한 듯해 교체가 기대되며, LocalAI에 들어오기를 기다리는 중임.
내가 시제품으로 만들고 있는 자동 메타데이터 보강과 비슷함. 지금까지 개인 데이터 흐름에는 전통적인 결정론적 기법과 수작업을 병행했는데, LLM과 최신 머신러닝으로 효율적으로 주석을 붙이는 최신 방법을 배우고 싶음.
비슷한 작업을 하는 분들의 접근법이 궁금함. 지금은 데모용 소규모 RAG 모델이나 아주 작은 Qwen 모델 정도를 생각하고 있고, 미세 조정도 흥미로워 보임. 미리 생성한 말뭉치에서 이진 탐색을 하듯 의사결정 모델을 여러 단계로 적용하면 충분히 빠르지 않을까? 선택지가 너무 많고, 이미 해결된 문제일 것 같기도 함.
gliner2.5를 강력히 추천함. 뉴스 기사 태깅에 쓰고 있는데, GPT 6.1이 태깅한 기사 500개로 집의 5090에서 몇 분 만에 미세 조정했고 성능이 아주 좋음. 배포는 Hetzner에서 CPU만으로 운영 중임.
이메일과 문자 분류에 꼭 GPU가 필요한지 궁금함. CPU에서 실행과 학습이 가능한 오픈소스 대안도 있어 직접 호스팅하거나 로컬에서 돌리고, 자기 데이터로 학습해 정확도를 높일 수 있음. 이런 방식도 맞지 않을까? http://jeffyclassify.com/
신뢰도는 어떻게 산정하나요? logprobs를 쓰나요?
d1-2B 같은 의사결정 모델도 고려해볼 만함. 성능이 매우 좋고, 신뢰도가 잘 보정된 분류에 적합함. 관심이 있다면 링크와 자료를 공유할 수 있음.
이번 출시 작업에 참여했으며, 로컬 AI와 클라우드 최상위 모델에 관한 질문이나 대화를 환영함.
실시간 모드가 30초마다 텍스트를 초기화하는 점이 흥미로운데, 몇 분에 걸쳐 합의하는 내용에는 어떤 영향을 줄까?
한 시간짜리 녹음에서 실행 항목을 추출하려면 LFM3-Audio-2B에 오디오를 바로 넣어야 하나요, 아니면 먼저 전사한 뒤 텍스트를 LFM3-1.7B에 넣어야 하나요? 이 추출 작업을 미세 조정하려면 라벨이 붙은 예제가 대략 얼마나 필요할까요?
시각 작업에서 LFM3-Omni-2B는 LFM3-VL-2B보다 성능이 떨어지나요, 아니면 비슷한가요? 필요한 기능 조합에 맞춰 모델을 골라야 할까요, 아니면 그냥 Omni를 쓰면 될까요?
시스템 프롬프트 없이 “어떤 동물이 가장 큰 알을 낳나요?”라고 물었는데, 추론 과정에 “하지만 지침에 따르면 질문에 답할 때 사용 가능한 도구를 반드시 사용해야 함”이라는 문장이 나옴. 도구 사용 강화학습을 많이 하면서 모델에 내재화된 동작일까요?
이 모델들이 콘텐츠 검열·필터링에 강하도록 특별히 작업한 부분이 있나요? 로컬에서는 하드웨어 한계까지 모델을 돌리는 경우가 많아, 어린이·학교·가족이 안심하고 쓰도록 별도의 안전장치를 돌릴 여유가 부족함.
예전에 일부 LFM은 훨씬 큰 모델보다 이 작업을 잘했음. 무엇이 허용되는지 미리 단정하기보다는, 콘텐츠에 일련의 질문을 던져 필터링 기준을 맞춤 설정할 수 있었고 다른 모델들은 훨씬 못했음.
의사결정 모델은 이 방향의 다음 최적화 단계처럼 보이지만, 인기 모델의 벤치마크에는 이런 능력이 거의 드러나지 않음. 처리 비용이 작아야 성능·창작 자유·정확도를 크게 포기하지 않고 기본으로 켜둘 수 있으며, 오탐률이 높으면 사용자는 다시 직접 통제하려 할 것임.
로컬 필터링은 매력적이고 효율적이며 정확하고 설정 가능해야 함. 안전 제약이 적은 모델이 내는 더 좋은 결과는 살리면서 위험한 결과만 빠르게 걸러내고, 에이전트가 그 결과를 모델에 되먹임해 출력을 조정할 정도의 속도가 필요함.
짧게 말해, 왜 이 모델에 관심을 가져야 하나요? 무엇이 멋지고, 어떤 부분에서 당장 써보고 싶어져야 할까요?
문서를 훑어보면 “특화된 용도”가 핵심인 듯한데, 구체적으로 무슨 뜻인가요? 주의력 결핍이 있는 사람도 바로 이해할 수 있게 설명해줄 수 있나요?
하드웨어에 대한 본격적인 지원이 이번 모델을 특별하고 기대되게 만듦. 기기 내 처리는 더 저렴하고 빠르며, 실시간 AI 응용에 필수적임. 똑똑한 로컬 AI의 확산이 기대됨.
Liquid Playground의 일반 상식·대화 같은 텍스트 전용 질문에서도 LFM3-VL-2B가 LFM3-1.7B보다 더 좋은 결과를 냈음.
“소는 어떻게 울지?”라는 질문에 LFM3-1.7B는 “꿀꿀”이라고도 답했지만, 같은 질문에 LFM3-VL-3B는 정확히 “음매”라고 답함. 다만 낮은 양자화 정밀도 때문인 듯함. llama에서 써본 Q8 버전은 둘 다 정답을 냈음.
양자화는 늘 문제가 되는데, 어떤 양자화 버전을 썼나요?
소가 무엇을 마시는지 물으면 뭐라고 할까요? “우유”라고 답하고 “아주 어릴 때는”이라는 근거를 붙일지도 궁금함.
Omni와 텍스트 전용 모델의 MLX 버전을 LM Studio, omlx, rapid mlx에서 시도했지만 하나도 실행하지 못함. 계속 safetensors를 읽을 수 없다고 나옴. 이건 여기보다는 Claude에게 물어봐야 할 내용이라는 건 알고 있음.
2.6B를 집의 주력 Home Assistant 모델로 잘 써왔고, 이후 활성 매개변수가 1B라 더 빠른 Ling 3.0 Tiny로 바꿈. 모든 것을 한 기기에서 돌릴 수 있도록 1.7B가 충분히 똑똑하기를 바람. 2.5 버전은 Home Assistant용으로 쓰기에는 너무 부족했음.
Home Assistant로 어떤 일을 하나요? Siri나 Alexa 같은 범용 비서인가요, 아니면 다른 용도인가요?
1.7B 모델인데 에이전트형 코딩 수치는 Qwen3.5-4B와 비슷하고, 나머지 수치는 Qwen3.5-9B와 비슷한 점이 인상적임. Liquid는 속도도 꾸준히 신경 써왔고, 이번 글을 보면 이번에도 기대할 만함.
이렇게 작은 모델을 실제 코딩에 본격적으로 쓸 사람이 있을까요? 이 모델들이 의도한 용도나 강점은 아닌 듯함.