소규모 로컬 LLM을 위한 매우 가벼운 오픈 웹 검색 도구 - 이제 SearXNG 지원

여러분 안녕하세요, TinySearch v0.2.0 (첫 번째 안정화 베타)이 출시되었습니다. 첫 번째 버전은 DuckDuckGo를 직접 사용했는데, 아이디어를 증명하기에는 충분히 잘 작동했지만... 네, 하나의 검색 소스에 의존하는 것은 너무 취약했습니다 (웃음). 지난 2주 동안 DDG가 제한 사항이나 CAPTCHA를 더 자주 던지기 시작했는데, 아마도 우리 중 얼마나 많은 사람들이 정확히 이 작업을 하고 있는지 깨달은 것 같습니다. 에이전트(agents)가 의존하는 MCP 도구로서 이는 충분하지 않습니다. 그래서 v0.2.0에서는 TinySearch가 이제 SearXNG를 기본 검색 백엔드(search backend)로 사용합니다. 저장소(Repo): https://github.com/MarcellM01/TinySearch

TinySearch는 여전히 동일한 기본 개념을 유지합니다: 웹을 검색하고, 몇몇 페이지를 크롤링(crawls)하며, 유용한 부분을 청킹(chunks)/검색(retrieves)/재순위화(reranks)한 뒤, 프롬프트에 무작위의 전체 페이지 쓰레기를 쏟아붓는 대신 8k 토큰으로 제한된 컴팩트한 소스 기반 컨텍스트 블롭(source-grounded context blob)을 소규모 로컬 LLM에 제공하는 작은 오픈 소스 MCP/FastAPI 웹 검색 도구입니다.

v0.2.0에서 변경된 사항:

• SearXNG가 이제 기본 검색 백엔드(search backend)입니다.
• TinySearch를 본인의 SearXNG 인스턴스로 지정할 수 있습니다.
• 검색이 더 유연해졌고 단일 제공자에 대한 의존도가 낮아졌습니다.
• 출력은 여전히 LLM 에이전트(agents)에 맞춰 제한 및 최적화되어 있습니다.
• 여전히 로컬 우선(local-first)이며, 가볍고 실행하기 쉽습니다.

이것은 주로 Cline, Roo, OpenCode, MCP 에이전트(agents)를 사용하거나, 컨텍스트에 30k 토큰의 스크랩된 헛소리를 쏟아붓는 것이 적절하지 않은 모든 설정에서 소규모 로컬 모델을 사용하는 사람들을 대상으로 합니다. 호출당 약 10-15초가 소요되는데, SearXNG가 약간의 오버헤드(overhead)를 추가했지만 편의성을 생각하면 그만한 가치가 있다고 생각합니다. 제대로 된 검색 인프라 등을 대체하려는 것은 아닙니다. 그저 전체 백엔드 스택이 필요 없이 적절한 웹 컨텍스트가 필요한 에이전트들을 위한 작은 연구 레이어(research layer)일 뿐입니다.

저는 현재 주로 qwen3.5-9B와 함께 사용하고 있으며, 매일 예상대로 잘 작동하고 있습니다. 질문은 주로 라이브러리 버전, 특정 함수 호출, 그리고 좀 더 모호한 azure/gcp API 관련 내용들입니다. 피드백이나 비판(roasting) 모두 환영합니다. 특히 로컬 모델, MCP, Cline, Roo, OpenCode 또는 자체 호스팅 검색 설정을 사용 중이시라면 더욱 환영합니다.

/u/Scared-Tip7914가 r/LocalLLaMA에 게시함 [link] [comments]