SpiderFoot: 오픈 소스 OSINT 자동화 도구

SpiderFoot은 오픈 소스 인텔리전스 (OSINT) 자동화 도구입니다. 거의 모든 사용 가능한 데이터 소스와 통합되며, 다양한 방법을 활용하여 데이터 분석을 수행함으로써 데이터를 쉽게 탐색할 수 있게 합니다.

SpiderFoot은 깔끔하고 직관적인 웹 기반 인터페이스를 제공하는 내장 웹 서버를 가지고 있지만, 명령줄(CLI)을 통해서도 완전히 사용할 수 있습니다. Python 3으로 작성되었으며 MIT 라이선스가 적용되어 있습니다.

• 웹 기반 UI 또는 CLI
• 200개 이상의 모듈 (아래 참조)
• Python 3.7 이상
• 37개의 사전 정의된 규칙을 가진 YAML 설정 가능한 상관관계 엔진
• CSV/JSON/GEXF 내보내기
• API 키 내보내기/가져오기
• 사용자 지정 쿼리를 위한 SQLite 백엔드
• 높은 구성 가능성
• 완전한 문서화
• 시각화(Visualisations)
• 다크 웹 검색을 위한 TOR 통합
• Docker 기반 배포를 위한 Dockerfile
• DNSTwist, Whatweb, Nmap, CMSeeK와 같은 다른 도구 호출 가능
• 2012년부터 활발하게 개발 중!

SpiderFoot에서 더 많은 기능이 필요하신가요? 다음 기능을 위해 SpiderFoot HX를 확인해 보세요:

• 클라우드 기반이며 관리되는 방식 (100% Cloud-based and managed for you)
• 이메일, REST, Slack을 통한 변경 알림을 포함한 공격 표면 모니터링(Attack Surface Monitoring)
• 스캔당 여러 대상 지정 가능
• 다중 사용자 협업
• 인증 및 2FA (Two-Factor Authentication)
• 조사(Investigations)
• 고객 지원
• 사전 설치 및 구성된 타사 도구
• 완전한 RESTful API를 통한 구동
• 내장형 TOR 통합
• 스크린샷 기능
• 자체 Python SpiderFoot 모듈 추가 가능
• 스캔 데이터를 Splunk, ElasticSearch 및 REST 엔드포인트로 전송

SpiderFoot HX와 오픈 소스 버전 간의 전체 차이점은 여기에서 확인할 수 있습니다.

SpiderFoot은 공격적으로(예: 레드팀 훈련 또는 침투 테스트에서) 대상에 대한 정찰을 수행하거나, 방어적으로 자신이나 조직이 인터넷상에 노출했을 수 있는 정보를 수집하는 데 사용될 수 있습니다.

SpiderFoot 스캔에서는 다음 엔티티를 대상으로 지정할 수 있습니다:

• IP 주소

• 도메인/서브도메인 이름

• 호스트 이름

• 네트워크 서브넷 (CIDR)

• ASN

• 이메일 주소

• 전화번호

• 사용자 이름

• 사람의 이름

• 비트코인 주소

• 호스트/서브도메인/TLD 열거(enumeration)/추출

• 이메일 주소, 전화번호 및 사람 이름 추출

• 비트코인 및 이더리움 주소 추출

• 서브도메인 하이재킹 취약성 확인

• DNS 존 전송(DNS zone transfers)

• 위협 인텔리전스 및 블랙리스트 질의

• SHODAN, HaveIBeenPwned, GreyNoise, AlienVault, SecurityTrails 등과의 API 통합

• 소셜 미디어 계정 열거

• S3/Azure/Digitalocean 버킷 열거/스크래핑

• IP 지리 위치 정보(geo-location)

• 웹 스크래핑, 웹 콘텐츠 분석

• 이미지, 문서 및 바이너리 파일 메타데이터 분석

• 다크 웹 검색

• 포트 스캐닝 및 배너 그랩핑

• 데이터 유출 검색

• 이 외에도 수많은 기능...

SpiderFoot을 설치하고 실행하려면 최소 Python 3.7과 pip으로 설치할 수 있는 여러 Python 라이브러리가 필요합니다.

마스터(master) 브랜치는 종종 완전히 테스트되지 않은 최신 기능을 가진 모듈들을 포함하므로, 패키징된 릴리스 버전을 설치하는 것을 권장합니다.

wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
...

git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
...

더 많은 튜토리얼은 문서를 확인하거나 asciinema 비디오를 참고하세요.

사용자이든 기여자이든, 아니면 단순히 SpiderFoot과 OSINT 전반에 대해 궁금한 분이시더라도 저희 커뮤니티에 참여해 주시면 감사하겠습니다! SpiderFoot은 이제 커뮤니티로부터 도움을 얻거나, 기능을 요청하거나, 일반적인 OSINT 대화를 나눌 수 있는 Discord 서버를 갖추고 있습니다.

SpiderFoot 4.0에서 도입된 상관관계 규칙 세트(correlation rule-set)에 대한 포괄적인 설명과 참고 자료는 여기에서 확인하실 수 있습니다.

또한 워크스루(walk through)를 위해 template.yaml 파일을 살펴보세요. 기존의 37개 규칙도 추가 규칙을 위한 좋은 시작점이며 충분히 읽기 쉽습니다.

SpiderFoot은 200개가 넘는 모듈을 가지고 있으며, 대부분의 모듈은 API 키가 필요하지 않으며, API 키가 필요한 경우에도 *무료 등급(free tier)*을 제공하는 경우가 많습니다.

최신 업데이트는 트위터에서 발표됩니다.