생물학 논문 및 연구 트렌드 모니터링을 위한 AI Agent 구축과 Firecrawl 활용

저는 최근 생물학 분야의 최신 논문과 연구 경쟁 제품, 글로벌 트렌드 등을 전문적으로 모니터링하는 AI agent를 구축하고 있습니다.

이전 방식은 몇 시간마다 페이지 전체를 긁어온(scraping) 다음, 페이지 전체 내용을 LLM에 입력하는 방식이었습니다.

토큰(token)이 물 흐르듯 낭비되었고, agent는 광고나 타임스탬프 같은 노이즈에 자주 방해를 받아 효율이 낮아 머리가 아플 정도였습니다.

그런데 오늘 Firecrawl이 이 페인 포인트(pain point)를 직접 해결하는 것을 보았습니다.

그들은 방금 /monitor 기능을 출시했습니다.

URL 하나만 입력하고, 추적하고 싶은 목표를 자연어로 설명하기만 하면 됩니다. 예를 들어 "ADHD 관련 최신 주제 논문이 xxx로 추가되면 알려줘"라고 말이죠.

그러면 설정된 빈도에 따라 모니터링을 수행하며, 페이지에 실질적인 변화가 생기면 webhook을 통해 당신의 agent에게 푸시를 보냅니다.

실제로 변경된 부분만 섭취하기 때문에, LLM 토큰을 최대 90%까지 절약할 수 있습니다.

diff(차이점)에는 추가, 삭제, 수정된 내용이 명확하게 나열되며, permalink(고유 링크)도 포함되어 있어 팀에 직접 공유하거나 agent에게 계속 처리를 맡기기에 편리합니다.

API, CLI, MCP 또는 dashboard를 통해 초기화할 수 있으며, 스케줄링은 5분 단위, 매시간, 매일 또는 사용자 정의가 가능합니다.

이전에는 agent가 실시간성을 유지하려면 모니터링이라는 무거운 짐을 직접 짊어져야 한다고 생각했습니다.

이제 Firecrawl이 "웹의 변화를 똑똑하게 감지하는 것"을 기성 인프라(infrastructure)로 만들어 놓았기에, agent는 진정으로 의사 결정과 실행에만 집중할 수 있게 되었습니다.