주기적으로 웹 데이터를 스크래핑(Scraping)하여 CSV/XLSX로 정리하는 팀이라면, 이번에 새로 출시된 Bigset 오픈소스 도구를 확인해 볼 가치가 충분합니다.

이 도구는 검색, 스키마 설계 (Schema design), 중복 제거 (Deduplication), 그리고 크론 작업 (Cron jobs)과 같이 매번 수동으로 반복하던 작업들을 "문장 하나 → 에이전트 조사 (Agent investigation) → 구조화된 데이터셋 (Structured dataset)" 파이프라인으로 간소화하려는 시도입니다.

AGPL-3.0 라이선스로 제공되므로, 셀프 호스팅 (Self-hosting)과 사용자의 자체 API 키를 사용하는 구조입니다. 만약 '스크래퍼 유지보수 노력 vs LLM 에이전트 실행 비용'을 비교하며 수치를 계산하고 있는 팀이라면, 반드시 깊이 있게 살펴볼 만한 가치가 있습니다.

리포지토리(Repo) 스타 하기:
http://github.com/tinyfish-io/bigset

API KEY: