뭔가를 긁어가고 싶다면!

요약

LLM 프롬프트 활용을 위해 웹 데이터를 마크다운 형식으로 변환하거나 노이즈를 제거하는 유용한 도구들을 소개합니다. Jina-ai reader, defuddle, Obsidian Web Clipper 등 에이전트와 개발자가 활용하기 좋은 도구들을 다룹니다.

핵심 포인트

• Jina-ai reader를 통한 웹페이지의 마크다운 변환
• Hermes Agent의 x-search 툴을 활용한 트윗 데이터 검색
• defuddle을 이용한 데이터 노이즈 제거 및 최적화
• Obsidian Web Clipper를 활용한 효율적인 데이터 수집