AI Agent의 브라우저 자동화 및 데이터 크롤링을 위한 도구: BrowserAct

AI Agent (인공지능 에이전트)가 브라우저를 자동으로 조작하거나 데이터를 수집(Scraping)하려고 하면, 다양한 안티 크롤링 (Anti-scraping) 메커니즘에 의해 차단되는 경우가 많으며, 캡차 (CAPTCHA)나 로봇 확인(Human Verification)을 만나면 그대로 멈춰버리곤 합니다.

최근 BrowserAct 팀이 AI Agent를 위해 특별히 설계된 브라우저 자동화 커맨드 라인 도구(CLI tool)인 Skill을 오픈 소스로 공개했습니다.

지문 위장 (Fingerprint Masking), 캡차 자동 해결부터, AI가 해결하지 못할 경우 인간이 언제든 개입할 수 있도록 링크를 생성하는 기능까지 포함된 3단계 안티 차단 (Anti-blocking) 메커니즘을 제공하며, 전체 프로세스가 매우 매끄럽게 연결됩니다.

GitHub:
http://github.com/browser-act/skills
...
또한 여러 브라우저를 병렬로 실행할 때, 각 작업의 쿠키 (Cookie), 지문 (Fingerprint), 프록시 (Proxy)가 완전히 격리되어 웹사이트가 서로 다른 계정을 연관 지을 수 없습니다.

그 외에도 출력 형식이 대규모 언어 모델 (LLM)에 최적화되어 있어, 전통적인 HTML이나 JSON 방식보다 토큰 (Token)을 몇 배나 절약할 수 있습니다.

Skill Forge 기능도 함께 제공되어, AI가 웹사이트 구조를 자동으로 탐색하고 재사용 가능한 크롤링 스크립트를 생성할 수 있게 해줍니다. 이후에는 데이터를 대량으로 처리할 때 다시 탐색할 필요가 없습니다.

만약 Claude Code나 Cursor와 같은 도구를 사용하여 브라우저 자동화를 수행할 때 안티 크롤링 문제로 어려움을 겪고 있다면, 이 프로젝트를 시도해 볼 가치가 있습니다.

운영 체제 (OS)의 기본 원리를 배우고 싶지만, 수십만 줄에 달하는 커널 (Kernel) 소스 코드를 마주하며 압도당하거나, 핵심 스레드 (Thread)를 파악하기 어렵고, 진정으로 읽고 이해하기 힘들었던 경험이 있다면 이 내용을 접해보시기 바랍니다.