저는 LFM3-1.7B를 하나의 작업만 수행하도록 미세 조정(fine-tuned)했습니다. 즉, 사실적인 질문을 받으면 web_search를 한 번 호출하고, 짧은 값, 문구 그대로의 인용문, 그리고 URL과 함께 답변합니다. 만약 검색 결과에 답이 포함되어 있지 않으면 “검색 결과에서 찾을 수 없음(Not found in the search results).”이라고 표시합니다. 이 모델은 채팅 모델로 사용하기보다는 더 큰 모델 아래에서 서브 에이전트(subagent)로 실행되도록 의도되었습니다.
저는 기본 LFM이 도구 호출(tool calls)을 수행하고 정보를 추출하는 능력에 정말 놀랐다고 말해야겠습니다.
답변: Barbara Liskov
증거: "Liskov ... 튜링상을 수상한 두 번째 여성." 출처: https://en.wikipedia.org/wiki/Barbara_Liskov
고정 결과 벤치마크 (Fixed-results benchmark) (131개의 보류된 SimpleQA 질문; 이 중 29개에서 답변이 결과에서 제거됨):
- 기본 Obsessive: 답변이 있을 때 찾음 50% / 없을 때 “찾을 수 없음”이라고 함 94%
- Obsessive: 답변이 있을 때 찾음 0% / 없을 때 “찾을 수 없음”이라고 함 100%
- 지어낸 답변: 10% / 0%
- 질문당 중앙값 시간 (4060 노트북): 5.1초 / 2.0초
실시간 위키피디아 검색 (Live Wikipedia search) (120개 질문 + 40개 다중 사실 요청, 모델이 학습하지 않은 검색 백엔드):
- 기본 Obsessive: 모든 답변 반환 비율 38% / 100%
- 답변에 정확한 답변 포함 비율: 37/120 / 24/120
- 다중 사실 요청 처리 비율: 1/40 / 40/40
- 지어낸 사실 값: 4개 중 4개 / 3개 중 52개
기본 모델이 원시적인 정확한 답변에서 승리합니다. 실시간 검색은 계속 검색하고 긴 답변을 작성하기 때문에 답변이 더 자주 나타나지만, 62%의 경우 시도 횟수를 소진하여 아무것도 반환하지 못합니다. Obsessive는 한 번만 검색하고 인용할 수 있는 내용만을 명시합니다. 이 트레이드오프가 귀하의 설정에 맞는지 여부는 알아서 판단해야 합니다.
알려진 문제점 (Known problems)
- 대화당 하나의 질문만 처리 가능합니다. 다중 턴 채팅은 혼란을 야기합니다(단일 질문으로만 학습되었고, 학습을 위한 VRAM이 제한적임 :/ ).
- 주장된 내용을 사실처럼 취급할 수 있습니다: “X는 Y를 해결했다고 말한다”가 “예”로 바뀔 수 있습니다.
- 실제 결과에 포함되어 있는 답변 중 약 10개 중 1개에 대해 “찾을 수 없음”이라고 표시합니다. 때로는 인접한 사실(다른 해의 수상자)을 인용하기도 합니다.
- 영어 전용입니다.
학습 정보 (Training): LoRA rank 16, RTX 4060 노트북에서 약 9천 건의 도구 호출 대화로 학습되었습니다. 검색 결과는 Wikipedia와 FineWeb 페이지이며, 모든 답변과 인용문은 문자 그대로 나타나도록 확인되었고, 약 4분의 1은 “찾을 수 없음”으로 처리됩니다.
제 로컬 환경의 qwen 3.8 flash next가 학습 데이터와 질문 준비에도 도움이 되었습니다! 실행 방법: llama-server -hf banyohavlusu23/Obsessive-1.7B-GGUF --jinja -c 16384 Temperature 0. Pi, OpenCode 및 Hermes용 설정 파일과 키가 필요 없는 Python 스크립트는 저장소에 있습니다. HF: https://huggingface.co/banyohavlusu23/Obsessive-1.7B (GGUF: -GGUF). LFM Open License (기본 모델로부터 상속됨). 피드백을 환영하며, 특히 실패 사례에 대한 피드백을 부탁드립니다. /u/MuzafferMahi가 제출했습니다. [link] [comments]