대부분의 AI 도구 디렉토리는 두 가지 문제점을 겪습니다. 바로 정적으로 하드코딩되어 있다는 점과, 정확한 키워드가 아닌 의도(intent)로 검색할 때 제대로 작동하지 않는다는 점입니다.

저는 이를 해결하기 위해 AI Tool Hunter V2를 구축했습니다. 이 프로젝트는 단순한 디렉토리를 자동화된 탐색 엔진, 오픈 소스 데이터셋 파이프라인, 그리고 Model Context Protocol (MCP) 서버로 변환합니다.

다음은 시스템 아키텍처와 그 과정에서 고려된 엔지니어링 트레이드오프(engineering trade-offs)에 대한 상세한 분석입니다.

1. 자율적 수집 파이프라인 (The Autonomous Ingestion Pipeline)
링크를 수동으로 큐레이션하는 대신, 매일 실행되는 GitHub Actions 워크플로우(harvest.yml)가 수집 스크립트를 트리거합니다:

• 실시간 웹 스캔 (Live Web Scan): Tavily API가 웹 소스를 쿼리하여 새로 출시된 소프트웨어를 검색합니다.
• 의도 및 메타데이터 추출 (Intent & Metadata Extraction): 가공되지 않은 페이로드(raw payload)가 Groq를 통해 Llama 3.3-70B로 전달됩니다. 모델은 가격 구조, 기능 세트를 파싱하고 의도 기반의 카테고리를 할당합니다.
• 중복 제거 및 저장 (Deduplication & Storage): 정제된 레코드는 기존 데이터베이스 항목과 대조하여 검증된 후 Supabase (RLS가 적용된 PostgreSQL)에 저장됩니다.

2. 오픈 소스 데이터 플라이휠 (The Open-Source Data Flywheel)
업데이트된 데이터베이스를 구조화된 코퍼스(corpus)로 포맷팅하고, huggingface_hub를 사용하여 매일 밤 Hugging Face(AI-Tools-Corpus-2026)로 직접 커밋을 푸시합니다.

3. MCP를 통한 시스템 노출 (Exposing the System via MCP) (Model Context Protocol)
현대의 개발자 도구는 IDE 내에서 작동합니다. 저는 Render에 호스팅되는 전용 MCP 서버를 구축하여, 외부 LLM(Cursor, VS Code 또는 Claude Desktop 내)이 검색 인덱스를 네이티브하게 호출할 수 있도록 했습니다.

기술 스택 (Tech Stack)

• 프론트엔드 (Frontend): Next.js 16, TypeScript, Tailwind CSS
• 백엔드 및 인증 (Backend & Auth): Supabase (Auth + RLS), Python, Render
• AI / 데이터 (AI / Data): Groq (Llama 3.3-70B), Tavily API, Hugging Face Datasets
• 데브옵스 (DevOps): GitHub Actions, Model Context Protocol (MCP)

링크 및 오픈 소스 (Links & Open Source):

링크 및 오픈 소스 (Links & Open Source):

• Live App: (https://ai-tool-hunter-eight.vercel.app/)
• GitHub Repo: (https://github.com/VishalsWorkspace/AI-TOOL-HUNTER)
• Hugging Face Corpus: (https://huggingface.co/datasets/Vishalsworkspace/AI-Tools-Corpus-2026)