크롤링이나 AI 자동화를 할 때, 헤드리스 Chrome이 가볍게도 2~3백 메가바이트 메모리를 먹고, 여러 대를 띄우면 바로 서버가 다운된다.

요약

대규모 크롤링 및 AI 자동화 작업 시 헤드리스 Chrome의 높은 메모리 사용량과 불안정성 문제가 발생합니다. 이 글은 Rust로 개발된 Obscura라는 대안을 소개하며, 이는 개별 인스턴스당 30MB의 낮은 메모리를 사용하고 빠른 로딩 속도를 자랑합니다. 또한, 강력한 안티 디텍션 기능과 쉬운 배포를 통해 기존 크롤링 도구들을 효과적으로 대체할 수 있습니다.

핵심 포인트

• 헤드리스 Chrome은 대규모 병렬 작업 시 높은 메모리 사용량(200~300MB 이상)으로 서버 다운 위험이 있습니다.
• Obscura는 Rust로 작성된 헤드리스 브라우저 엔진으로, 개별 인스턴스당 30MB의 낮은 메모리를 소비합니다.
• Obscura는 Puppeteer 및 Playwright와 호환되며, 별도의 안티 디텍션 설정 없이도 추적 도메인을 차단하는 기능을 제공합니다.
• 이 프로젝트는 단일 파일 배포를 지원하며 Chrome이나 Node.js에 대한 의존성이 없어 사용 편의성이 높습니다.