더 작은 로컬 LLM을 위한 매우 가벼운 오픈 웹 검색 도구

여러분, 안녕하세요.

최근에 주로 Cline/Roo와 더 작은 모델들을 사용하여 로컬 에이전트 (local agent) 설정을 가지고 놀고 있는데, 웹 검색이 계속 저를 괴롭혔습니다.

작동을 안 해서가 아니라, 보통 컨텍스트 (context)에 너무 많은 무작위 페이지 텍스트를 던져넣기 때문입니다. 작은 모델들은 그것을 정말 우아하게 처리하지 못하거든요 (lol). 간단한 검색으로 시작했다가 갑자기 프롬프트 (prompt)의 절반이 스크래핑된 쓰레기 데이터로 채워지곤 합니다.

그래서 이 녀석, TinySearch를 만들었습니다.

이것은 웹 검색을 수행하고, 몇몇 페이지를 크롤링하며, 유용한 부분을 청킹 (chunking)/검색 (retrieval)/재순위화 (reranking)하여, 에이전트에게 전체 페이지를 쏟아붓는 대신 훨씬 더 작은 컨텍스트 덩어리 (context blob)를 제공하는 작은 오픈 소스 MCP 도구입니다.

Repo:
https://github.com/MarcellM01/TinySearch

DuckDuckGo, Crawl4AI, dense + BM25 방식의 검색 (retrieval), 재순위화 (reranking), MCP를 사용하며, FastAPI 서버로도 실행할 수 있습니다.

제 설정 (M4 Mac과 오래된 Lenovo ThinkPad)에서는 쿼리/기기에 따라 다르지만 보통 처음부터 끝까지 약 5~12초 정도 걸립니다.

실제 검색 인프라를 대체하려는 것은 아닙니다. 모델이 정보를 찾아볼 수 있도록 하기 위해 전체 백엔드 (backend)를 구축하고 싶지 않은 에이전트 빌더들을 위한 작은 로컬 리서치 레이어 (local research layer)에 가깝습니다.

아직 군데군데 거친 부분이 있지만, 제 워크플로우 (workflow)에 충분히 유용해서 공유하기로 했습니다.

피드백이나 비판(roasting) 모두 환영합니다. 특히 Cline, Roo, MCP 또는 더 작은 로컬 모델을 사용하는 분들의 의견을 기다립니다.