크롤러를 만들거나 자동화 스크립트를 실행할 때, 항상 다양한 반크롤링 검증에 막히게 되고, 일반적인 숨김 플러그인을 써도 막기 어려워요.

요약

이 글은 웹 크롤링 및 자동화 스크립트 작성 시 발생하는 다양한 반크롤링 검증 문제와 그 해결책으로 CloakBrowser라는 오픈소스 프로젝트를 소개합니다. CloakBrowser는 단순한 플러그인 수준을 넘어, C++ 레벨에서 Chromium의 지문 특징(캔버스, 오디오, 하드웨어 보고 등) 자체를 수정하여 웹 자동화 봇이 실제 사용자처럼 보이도록 만듭니다.

핵심 포인트

• CloakBrowser는 단순한 JS 주입이나 설정 변경을 넘어 C++ 소스 레벨에서 Chromium의 지문 특징을 직접 조작합니다.
• 캔버스, 오디오, 하드웨어 보고 등 핵심 신호를 재구성하여 봇 탐지를 우회하는 것이 가능합니다.
• 인간화 파라미터 기능을 통해 마우스 이동 궤적, 키보드 타이핑 지연 등을 실제 사용자 습관처럼 시뮬레이션할 수 있습니다.
• Python이나 Node.js 프로젝트에 쉽게 통합할 수 있으며 Playwright 및 Puppeteer와도 호환성이 뛰어납니다.